JP6566037B2 - 処理システム及びロボットの制御方法 - Google Patents

処理システム及びロボットの制御方法 Download PDF

Info

Publication number
JP6566037B2
JP6566037B2 JP2017538828A JP2017538828A JP6566037B2 JP 6566037 B2 JP6566037 B2 JP 6566037B2 JP 2017538828 A JP2017538828 A JP 2017538828A JP 2017538828 A JP2017538828 A JP 2017538828A JP 6566037 B2 JP6566037 B2 JP 6566037B2
Authority
JP
Japan
Prior art keywords
hand
measurement sensor
robot
position measurement
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017538828A
Other languages
English (en)
Other versions
JPWO2017042971A1 (ja
Inventor
拓也 福田
拓也 福田
橋口 幸男
幸男 橋口
研司 松熊
研司 松熊
梅野 真
真 梅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaskawa Electric Corp
Original Assignee
Yaskawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaskawa Electric Corp filed Critical Yaskawa Electric Corp
Publication of JPWO2017042971A1 publication Critical patent/JPWO2017042971A1/ja
Application granted granted Critical
Publication of JP6566037B2 publication Critical patent/JP6566037B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/022Optical sensing devices using lasers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Manipulator (AREA)

Description

本発明は、処理システム及びロボットの制御方法に関する。
従来、物体をロボットアームによって確実に把持するため、物体の位置を計測することがあった。例えば、下記特許文献1には、ロボットのハンドに設けられたレーザマーカー及びCCDカメラによって荷物の高さ位置、平面位置及び姿勢を測定し、ハンドにピッキング動作をさせる計測システムが記載されている。
また、下記特許文献2には、ロボットに搭載した位置検出センサによって、ワークの各辺のエッジ位置を1点又は複数点測定するスキャン動作が記載されている。さらに、下記特許文献3には、ロボットに設けられた接触位置検出プローブによって、作業対象物の直交する2辺上の3点(P1、P2、P3)を測定することが記載されている。
特開平09−105608号公報 特許第5366018号 特許第5549223号
ロボットアームにツールを把持させて作業をさせる場合、予め作業対象の位置を測定して位置合わせを行う場合がある。位置の測定は、例えば特許文献1〜3のように、ロボットアームに設けられた位置測定センサによって行われる場合がある。しかしながら、ロボットアームに設けられた位置測定センサにより位置を測定する場合、測定時におけるロボットアームの姿勢と、作業時におけるロボットアームの姿勢とは異なる場合がある。ロボットアームの姿勢が異なっても、理想的にはロボットアームのアプローチする点にずれが生じることはないはずだが、実際には、ロボットアームの関節を構成する歯車のバックラッシやロボットアームのたわみ等の影響により、ロボットアームのアプローチする点がずれる場合がある。ロボットアームの姿勢が位置測定時と作業時で異なってしまうと、ツールの位置合わせが精度良く行われない場合がある。
本発明は、ロボットアームにツールを把持させて作業をさせる場合に、ロボットアームに把持されたツールを精密に位置合わせすることのできる処理システム及びロボットの制御方法を提供することをその課題とする。
本発明の一の側面による処理システムは、先端にハンドを有する少なくとも1のアームを有するロボットと、前記ハンドに把持されて前記アームにより移動され、前記ロボットが処理対象に処理を行う際に使用される機器の位置を測定する第1の位置測定センサと、前記ハンドに前記第1の位置測定センサを把持させ、前記第1の位置測定センサにより、前記機器の位置を測定させるロボット制御装置と、を有する。
また、本発明の別の側面による処理システムにおいて、前記第1の位置測定センサは、レーザセンサであり、前記ロボット制御装置は、前記処理対象に対する処理に用いられるツールを前記ハンドに把持する場合における前記ツールの中心軸と、前記レーザセンサのレーザ光の光軸とが重なるように、前記ハンドに前記レーザセンサを把持させてもよい。
また、本発明の別の側面による処理システムにおいて、前記ロボット制御装置は、前記第1の位置測定センサにより、前記機器の位置を測定させる際、前記ハンドの長手方向と交わる方向が前記第1の位置測定センサによる測定範囲となるように、前記第1の位置測定センサを前記ハンドに把持させてもよい。
また、本発明の別の側面による処理システムにおいて、所定の位置に固定された位置基準器具をさらに有し、前記ロボット制御装置は、前記第1の位置測定センサを前記ハンドに把持させた状態で、前記機器の位置を測定する前に、前記位置基準器具の位置を測定させ、前記第1の位置測定センサの把持位置のずれを補償させる補償部を有してもよい。
また、本発明の別の側面による処理システムにおいて、前記第1の位置測定センサは、前記ハンドにより把持される複数のハンドルを有し、前記ロボット制御装置は、前記機器を用いた前記処理対象に対する処理に応じて、前記第1の位置測定センサの前記複数のハンドルのうちいずれを把持させるか選択する選択部を有してもよい。
また、本発明の別の側面による処理システムにおいて、前記複数のハンドルは、それぞれ異なる方向に延伸して設けられ、前記ロボット制御装置は、前記ハンドを前記複数のハンドルの設けられた方向に対応した角度として、前記複数のハンドルのうちいずれかを把持させてもよい。
また、本発明の別の側面による処理システムにおいて、前記ロボットに備えられた第2の位置測定センサをさらに有し、前記ロボット制御装置は、前記第2の位置測定センサにより測定された前記機器又は前記処理対象の位置に基づいて、前記機器を用いた前記処理対象に対する処理を行わせてもよい。
また、本発明の別の側面によるロボットの制御方法は、先端にハンドを有する少なくとも1のアームを有するロボットにより、前記ハンドに第1の位置測定センサを把持し、前記ハンドに把持された前記第1の位置測定センサを前記アームにより移動させ、前記ロボットが処理対象に処理を行う際に使用される機器の位置を測定する。
本発明の実施形態に係る処理システムの物理的な構成を示す概略図である。 本発明の実施形態に係るロボット制御装置の物理的な構成を示す構成ブロック図である。 本発明の実施形態に係るロボット制御装置、第1の位置測定センサ、第2の位置測定センサ及びロボットの機能ブロック図である。 本発明の実施形態に係る第1の位置測定センサの外観を示す図である。 本発明の実施形態に係るロボットのハンドによる第1の位置測定センサの第1のハンドルの把持を示す図である。 本発明の実施形態に係るロボットのハンドによる第1の位置測定センサの第2のハンドルの把持を示す図である。 本発明の実施形態に係るロボットの制御方法についてのフローチャートである。
図1は、本発明の実施形態に係る処理システム200の物理的な構成を示す概略図である。処理システム200は、少なくともロボット3を制御するロボット制御装置1を含む。ロボット制御装置1自体は、専用の機器であってもよいが、ここでは一般的なコンピュータを使用して実現されている。すなわち、市販のコンピュータにおいて、当該コンピュータをロボット制御装置1として動作させるコンピュータプログラムを実行することによりかかるコンピュータをロボット制御装置1として使用する。かかるコンピュータプログラムは、一般にアプリケーションソフトウェアの形で提供され、コンピュータにインストールされて使用される。当該アプリケーションソフトウェアは、CD−ROMやDVD−ROMその他のコンピュータ読み取り可能な適宜の情報記録媒体に記録されて提供されてよく、また、インターネット等の各種の情報通信ネットワークを通じて提供されてもよい。あるいは、情報通信ネットワークを通じて遠隔地にあるサーバによりその機能が提供される、いわゆるクラウドコンピューティングにより実現されてもよい。
処理システム200は、先端にハンド3cを有する少なくとも1のアームを有するロボット3を含む。ロボット3は、多関節ロボットであり、本実施形態では第1アーム3a及び第2アーム3bを有する双腕ロボットであり、それぞれのアーム単独で又は両アームを協働させ、処理対象に対する処理を行う。第1アーム3a及び第2アーム3bは、具体的には、7軸以上の関節を有し、複数の異なる姿勢で処理対象に対する処理を行うことのできるアームである。アームの姿勢については後述する。また、本実施形態においては、処理対象は、生化学、生物及び生命工学の分野における一連の検査や培養、増幅といった処理を行う対象であり、例えば培養した細胞や薬剤を指している。もっとも、処理対象はそれ以外のものであってもよく、ロボット3による溶接やボルトの締め付け等の対象となる加工・組立分解部品や、搬送やパレタイジング等の搬送対象となる荷物であってもよい。
各アームの操作対象は特に限定されないが、本実施形態に係るロボット3では、主として第1アーム3aの先端に備えられたハンド3cによりピペットラック10に収容されたピペット7を把持し操作する等、図示しあるいは図示しない実験器具を操作する。また、ロボット3は、第2アーム3bの先端に備えられたハンドによりチューブラック5に格納されたマイクロチューブ6を把持し、マイクロチューブ6をチューブラック5からボルテックスミキサー11や遠心分離器12等へ移動させるなど、図示しあるいは図示しない各種容器を移動させる。
処理システム200は、ハンド3cに把持されて第1アーム3aにより移動され、ロボット3が処理対象に処理を行う際に使用される機器の位置を測定する第1の位置測定センサ2を含む。第1の位置測定センサ2は、ロボット3の有するアームに対して、測定対象の位置を特定するためのセンサである。第1の位置測定センサ2は、単体で、又はアームの動作を伴って、測定対象の平面的又は立体的な位置を検出できるものである。本実施形態において、第1の位置測定センサ2は、レーザセンサであって、測定対象にレーザ光を照射し、測定対象までの距離を測定するセンサである。第1の位置測定センサ2は、レーザセンサでなくてもよく、例えば動画や静止画を撮影することのできるカメラによる位置検出や、超音波センサ、接触式センサ又は磁気センサ等を採用することもできる。本実施形態では、第1の位置測定センサ2としてレーザセンサを採用することで、非接触かつ高精度で測定対象までの距離を測定することができる。なお、図1に示す例では、処理システム200は、位置基準器具9を含む。位置基準器具9については後に詳細に説明する。
処理システム200は、ロボット3に備えられた第2の位置測定センサ4を含む。第2の位置測定センサ4は、第1の位置測定センサ2と同様に、ロボット3の有するアームに対して、測定対象の位置を特定するためのセンサである。本実施形態において、第2の位置測定センサ4は、レーザセンサであって、測定対象にレーザ光を照射し、測定対象までの距離を測定するセンサである。第2の位置測定センサ4は、レーザセンサでなくカメラ等であってもよいことは、第1の位置測定センサ2と同様である。
図1に示す例では、ボルテックスミキサー11と、遠心分離器12等が含まれるが、これらは実験を行う場合に用いられる器具の一例であり、これらの器具に加えて又は換えて、他の器具が含まれてもよい。例えば、処理システム200には、ペトリ皿を保管するラックや、マグネットラック等が含まれてもよい。また、本実施形態に係るロボット3は双腕ロボットであり、ロボット3は第1アーム3a及び第2アーム3bを備えるが、処理システム200に含まれる少なくとも1のアームは、例えば、複数のアームが別個独立に備えられて、ロボット制御装置1により協調して動作するように制御されるものであってもよい。
本実施形態に係る処理システム200は、ロボット3のアームの先端に設けられたハンド3cがアプローチする空間上の点P等を規定するために複数の座標系を使用する。1つは、ロボット3に付随するロボット座標系Sである。ロボット座標系Sは、ロボット3を基準とする座標系であり、この例では、原点がロボット3の中心にある左手系の直交座標系である。任意の点は、ロボット3を基準とする座標(X,Y,Z)として表される。少なくともロボット座標系Sを用いることで、ロボット3のアームの先端の座標を表すことができる。ロボット座標系Sによって表される点Pの座標(X,Y,Z)は、アームを構成する複数(N個)の関節の角度(θ,θ,…,θ)に対応する。本明細書では、アームを構成する複数の関節の角度(θ,θ,…,θ)をアームの姿勢と称する。ここで、アームの自由度(関節の数)が7自由度以上ある場合には、点Pに対して所望の方向からハンド3cをアプローチさせる際、アームの関節の角度(θ,θ,…,θ)は一意に定まらず冗長性がある。なお、ロボット座標系Sの原点はロボットの中心以外の点に設定してもよいし、用いる座標系の種類は直交座標系以外であってもよい。
本実施形態に係る処理システム200では、チューブラック5等、ロボット3が処理対象に処理を行う際に使用される機器に付随する機器座標系Sも使用される。例えばチューブラック5に付随する機器座標系SD1は、原点がチューブラック5の上部の角にある左手系の直交座標系であり、チューブラック5を基準として点Pを表す座標(x,y,z)である。機器座標系SD1を用いることで、チューブラック5に収容されたマイクロチューブ6の収容位置を簡潔に表すことができる。また、機器座標系Sを用いることで、機器毎に機器に適した座標系(球座標や円筒座標等)を設定することもできる。また、作業台における機器の取り付け位置を変更した場合であっても、処理におけるハンド3cの位置は機器座標系Sで表せば変わらないため、アームの姿勢(θ,θ,…,θ)の書き換えが行いやすいという利点がある。機器座標系Sは、ロボット制御装置1又は外部に置かれたコンピュータにおいて実行されるシミュレータ上で予め構成され、記憶されてよい。
処理システム200によって、ロボット3に生化学、生物及び生命工学の分野における実験を行わせる場合、実験の内容は様々に変わり得て、実験毎に使用する機器を変更したり、機器の配置を変更したりしたいという要求がある。しかしながら、例えばピペット7を用いた処理では、ピペット7の先端に装着されたチップをマイクロチューブ6の壁面に這わせて薬液の注入を行ったり、マイクロチューブ6に収容された微量の薬液の上澄みを吸引させたりする等、精密な作業が求められる場合があり、高精度なアームの制御が求められる場合がある。そのような場合、シミュレータ上で機器座標系Sを構成したとしても、アームの各関節を構成する歯車のバックラッシやアームのたわみ等の影響によって、アームが実際にアプローチする点がずれるおそれがある。そのため、精密な作業を行うためには、アームのたわみ等の影響を折り込んだ形で機器座標系Sを構成することが望まれる。
本実施形態に係るロボット制御装置1は、ハンド3cに第1の位置測定センサ2を把持させ、第1の位置測定センサ2により、機器の位置を測定させる。これにより、処理対象に対する処理におけるアームの姿勢と、第1の位置測定センサ2による機器の位置の測定におけるアームの姿勢との差が小さくなる。ここで、アームの姿勢の差が小さいとは、処理時のアームの姿勢を表すN次元のベクトルθ処理と、測定時におけるアームの姿勢を表すN次元のベクトルθ測定との差ベクトル(θ処理−θ測定)のノルム|θ処理−θ測定|が小さいことを意味する。ベクトルの差のノルム|θ処理−θ測定|は、アームの姿勢の差を評価できるものであればどのようなものでもよく、例えば、|(a,a,…,a)|=|a|+|a|+…+|a|というように、各要素の絶対値の総和で算出してよい。また、アームの姿勢に及ぼす各関節の影響の大きさは、関節毎に異なるため、各関節の角度を表すベクトルの要素毎に重み付けを行って、ベクトルの差のノルムを評価してもよい。ベクトルの差のノルム|θ処理−θ測定|が小さいとは、ノルムが取り得る値のうち下位25%以内にノルムの値が収まることをいうものとする。言い換えると、ベクトルの差のノルム|θ処理−θ測定|の最小値から最大値までを4つの数値区間に等分した場合に、最小値を含む区間にノルムの値が収まるということである。なお、アームの姿勢の差の大きさを評価するため、アームの姿勢の差ベクトルのノルムを用いるのではなく、その他の評価関数によって評価することとしてもよい。
本実施形態に係るロボット制御装置1によれば、アームにピペット7等のツールを把持させて処理を行わせる場合におけるアームの姿勢と近い姿勢で、第1の位置測定センサ2により機器の位置を測定することができ、アームの関節を構成する歯車のバックラッシやたわみ等の影響によりハンド3cのアプローチする点にずれが生じることが防止される。そのため、ハンド3cにツールを把持させて作業をさせる場合に、ハンド3cに把持されたツールを精密に位置合わせすることができる。
また、本実施形態に係るロボット制御装置1は、機器座標系Sとロボット座標系Sとの間の関係を較正する。ここで、機器座標系Sとロボット座標系Sとの間の関係とは、機器における処理対象の位置と、アームの位置との関係であり、具体的には、機器座標系Sによって表された点Pの座標(x,y,z)を、ロボット座標系Sによって表された点Pの座標(X,Y,Z)に変換する変換行列Aをいう。変換行列Aは、一般に3×3の行列であり、並進と回転を表す6自由度の行列である。本実施形態に係る処理システム200は、機器座標系Sを正確に構成し、機器座標系Sとロボット座標系Sとの間の関係、すなわち変換行列Aを較正することで、アームによる精密な作業を可能にするものである。
図2は、本発明の実施形態に係るロボット制御装置1の物理的な構成を示すブロック図である。図2に示した構成は、ロボット制御装置1として用いられる一般的なコンピュータを示しており、CPU(Central Processing Unit)1a、RAM(Random Access Memory)1b、外部記憶装置1c、GC(Graphics Controller)1d、入力デバイス1e及びI/O(Inpur/Output)1fがデータバス1gにより相互に電気信号のやり取りができるよう接続されている。ここで、外部記憶装置1cはHDD(Hard Disk Drive)やSSD(Solid State Drive)等の静的に情報を記録できる装置である。またGC1dからの信号はフラットパネルディスプレイ等の、使用者が視覚的に画像を認識するモニタ1hに出力され、画像として表示される。入力デバイス1eはキーボードやマウス、タッチパネル等の、ユーザが情報を入力するための機器であり、I/O1fはロボット制御装置1が外部の機器と情報をやり取りするためのインタフェースである。
図3は、本発明の実施形態に係るロボット制御装置1、第1の位置測定センサ2、第2の位置測定センサ4及びロボット3の機能ブロック図である。なお、ここで示した機能ブロックは、ロボット制御装置1等が有する機能に着目して示したものであり、必ずしも各機能ブロックに1対1に対応する物理的構成が存在するとは限らない。いくらかの機能ブロックはロボット制御装置1のCPU1a等の情報処理装置が特定のソフトウェアを実行することにより実現され、またいくらかの機能ブロックはロボット制御装置1のRAM1b等の情報記憶装置に特定の記憶領域が割り当てられることにより実現されてよい。
ロボット制御装置1は、ユーザからの各種の入力を受け付ける入力部20を有する。また、ロボット制御装置1は、入力部20により受けつけられた入力に基づいて、ロボット3の動作を制御する指令である動作指令を生成する動作指令生成部21を有する。さらに、ロボット制御装置1は、生成中及び生成された動作指令の電子データを記憶する動作指令記憶部27と、生成された動作指令をロボットが読み取り可能な形式の電子ファイルとして出力する動作指令出力部28と、動作指令記憶部27に記憶された動作指令の電子データを成形しモニタ1hに表示する動作指令表示部29とを有する。
入力部20は、通常は図2に示した入力デバイス1eにより構成されるが、ロボット制御装置1がクラウドコンピューティングに用いられるアプリケーションサーバである場合には、遠隔地にある端末上でのユーザの操作情報が入力されるI/O1fが該当することになる。
動作指令生成部21には動作指令を生成するための種々の機能ブロックが含まれる。詳細は後ほど動作指令の生成手順を説明する際に合わせて説明するが、本実施形態に係る動作指令生成部21には、測定された機器の位置を基準としてアームを移動させ、処理対象に対する処理をさせる処理部22と、ハンド3cに第1の位置測定センサ2を把持させ、第1の位置測定センサ2により、機器の位置を測定させる位置測定部23と、が含まれる。さらに、位置測定部23には、第1の位置測定センサ2をハンド3cに把持させた状態で、機器の位置を測定する前に、位置基準器具9の位置を測定させ、第1の位置測定センサ2の把持位置のずれを補償させる補償部23aと、機器を用いた処理対象に対する処理に応じて、第1の位置測定センサ2の複数のハンドルのうちいずれを把持させるか選択する選択部23bと、が含まれる。
なお、本明細書において、動作指令とは、単一のジョブ又は複数のジョブが組み合わされたジョブの集合体であって、処理対象又は処理対象が収容される容器に対する一単位のものとして認識される処理を指示する指令をいうものとする。
また、本実施形態に係る処理システム200において、ロボット3が処理対象に処理を行う際に使用される機器とは、チューブラック5、マイクロチューブ6、ピペット7、ボルテックスミキサー11及び遠心分離器12をいう。これらは例示であって、一般には、これら以外のものが含まれてもよいことは言うまでもない。処理システム200に含まれる機器であれば、ロボット3が処理対象に処理を行う際に使用される機器となり得る。
図4は、本発明の実施形態に係る第1の位置測定センサ2の外観を示す図である。本実施形態に係る第1の位置測定センサ2は、レーザセンサであり、ハンド3cにより把持される複数のハンドルを有する。図4に示す例の第1の位置測定センサ2は、第1のハンドル2aと、第2のハンドル2bとを有する。また、図4では、第1の位置測定センサ2から出射されるレーザ光の光軸Aを、第1の位置測定センサ2を貫くように延長して図示している。
レーザセンサである第1の位置測定センサ2は、ハンド3cに把持されて、第1アーム3aによって移動され、チューブラック5等の機器の位置の測定に用いられる。レーザセンサのレーザ光は、チューブラック5等の機器に向けて上方から照射され、機器の内側から外側に向けて走査される。レーザ光が機器の縁を横切る際に、レーザセンサによって測定される距離に飛びが生じる。位置測定部23は、レーザ光が機器の縁を横切って飛びが生じた際のアームの姿勢(各関節の角度)及びレーザセンサにより測定された機器までの距離を取得する。辺の縁におけるアームの姿勢から、ロボット座標で表した辺の縁の平面的な位置が算出でき、レーザセンサにより測定された距離と併せて、辺の縁の3次元的な位置を取得することができる。位置測定部23は、平面視において互いに交わる方向に延びる機器の2辺について、複数箇所で縁の位置の測定を行わせて、それらの測定点に基づいて、機器座標系Sを構成する。
図5は、本発明の実施形態に係るロボット3のハンド3cによる第1の位置測定センサ2の第1のハンドル2aの把持を示す図である。図5に示す例では、ハンド3cは、先端側に設けられた凹部である第1の把持部3dを有する。第1の把持部3dは、ピペット7等の比較的細いツールを把持する場合に用いられる。また、ハンド3cは、根本側に設けられた凹部である第2の把持部3eを有する。第2の把持部3eは、第1の位置測定センサ2の第1のハンドル2a及び第2のハンドル2b等の比較的太いツールを把持する場合に用いられる。同図には、レーザセンサである第1の位置測定センサ2から出射されるレーザ光の光軸Aが図示されている。
本実施形態に係るロボット制御装置1は、処理対象に対する処理に用いられるツールをハンド3cに把持する場合におけるツールの中心軸と、レーザセンサのレーザ光の光軸Aとが重なるように、ハンド3cにレーザセンサを把持させる。本実施形態に係るロボット制御装置1は、第1の位置測定センサ2の第1のハンドル2aを、ハンド3cの第2の把持部2eに把持させ、ピペット7等のツールをハンド3cの第1の把持部2dに把持させる。ロボット制御装置1は、第1の位置測定センサ2を把持させる場合とツールを把持させる場合とで、ハンド3における把持させる位置を変えることで、光軸Aとツールの中心軸とを重ねている。ここで、ツールの中心軸とは、必ずしも回転対称軸を意味しない。ツールの中心軸とは、ツールと処理対象とが接触する点を通る軸であって、ツールの長手方向に沿った軸である。
ハンド3cの第1の把持部3dと第2の把持部3eとの間の距離をLと表すとき、本実施形態に係る第1の位置測定センサ2の第1のハンドル2aは、第1のハンドル2aとレーザ光の光軸Aとの間の距離がLとなるように設けられる。これにより、第1の位置測定センサ2を第2の把持部3eで把持させ、ピペット7等のツールを第1の把持部3dで把持させることで、ツールをハンド3cに把持する場合におけるツールの中心軸と、レーザセンサのレーザ光の光軸Aとが重なることとなる。もっとも、第1の把持部3d及び第2の把持部3eのような凹部を有さないハンド3cによってツール及びレーザセンサを把持させて、ツールをハンド3cに把持する場合におけるツールの中心軸と、レーザセンサのレーザ光の光軸Aとが重なるようにハンド3cによる把持位置を制御してもよい。
本実施形態に係るロボット制御装置1によれば、ハンド3cに第1の位置測定センサ2を把持した場合における測定点と、ハンド3cにツールを把持した場合におけるツールによる作業点(ツールと処理対象が接触する点)とが近くなり、第1の位置測定センサ2を把持する場合のアームの姿勢と、ツールを把持する場合のアームの姿勢との差がより小さくなる。そのため、位置の測定がより正確に行なわれ、アームに把持されたツールの位置合わせをより正確に行うことができる。
本実施形態に係るロボット制御装置1は、第1の位置測定センサ2により、機器の位置を測定させる際、ハンド3cの長手方向と交わる方向が第1の位置測定センサ2による測定範囲となるように、第1の位置測定センサ2をハンド3cに把持させる。本実施形態に係るロボット制御装置1は、ハンド3cの長手方向を水平にした状態で、第1の位置測定センサ2であるレーザセンサのレーザ光の光軸Aが下方を向くように、第1の位置測定センサ2をハンド3cに把持させる。これにより、ハンド3cの長手方向と交わる鉛直下方向がレーザセンサによる測定範囲となる。
本実施形態に係るロボット制御装置1によれば、ハンド3cを水平に伸ばしたアームの姿勢で第1の位置測定センサ2を把持した場合に、第1の位置測定センサ2の測定範囲が下方に得られる。そのため、アームを最も伸ばした姿勢で第1の位置測定センサ2による測定を行うことができ、ハンド3cを曲げたアームの姿勢で第1の位置測定センサ2による測定を行う場合に比べて、測定可能な範囲が広くなる。
図6は、本発明の実施形態に係るロボット3のハンド3cによる第1の位置測定センサ2の第2のハンドル2bの把持を示す図である。第2のハンドル2bは、ハンド3cの第2の把持部3eに把持される。同図には、レーザセンサである第1の位置測定センサ2から出射されるレーザ光の光軸Aが図示されている。
第1の位置測定センサ2が有する第1のハンドル2aと第2のハンドル2bとは、それぞれ異なる方向に延伸して設けられる。すなわち、第1のハンドル2aは、光軸Aに平行な方向に延伸するのに対して、第2のハンドル2bは、光軸Aに直交する方向に延伸する。本実施形態に係るロボット制御装置1の位置測定部23は、ハンド3cを複数のハンドルの設けられた方向に対応した角度として、複数のハンドルのうちいずれかを把持させる。本実施形態に係るロボット制御装置1は、ハンド3cに第1のハンドル2aを把持させる場合、ハンド3cの角度をハンド3cの長手方向が光軸Aと直交する角度として、ハンド3cによって第1のハンドル2aを把持させる。また、ハンド3cに第2のハンドル2bを把持させる場合、ハンド3cの角度をハンド3cの長手方向が光軸Aと平行になる角度として、ハンド3cによって第2のハンドル2bを把持させる。これにより、ピペット7のようにハンド3cを水平にして把持されるツールについて、ツールを把持してツールを用いた処理を行う場合のアームの姿勢と、第1の位置測定センサ2の第1のハンドル2aを把持して機器の位置を測定する場合のアームの姿勢との差を小さくすることができる。また、マイクロチューブ6のようにハンド3cを垂直にして把持されるツールについて、ツールを把持してツールを用いた処理を行う場合のアームの姿勢と、第1の位置測定センサ2の第2のハンドル2bを把持して機器の位置を測定する場合のアームの姿勢との差を小さくすることができる。
本実施形態に係る位置測定部23によれば、処理時におけるハンド3cの角度を再現するように第1の測定センサ2を把持させることができ、機器の位置を測定する時と処理を行う時とのアームの姿勢の差をより小さくすることができる。そのため、位置の測定がより正確に行なわれ、アームに把持されたツールの位置合わせをより正確に行うことができる。
本実施形態に係るロボット制御装置1の選択部23bは、機器を用いた処理対象に対する処理に応じて、第1の位置測定センサ2の複数のハンドルのうちいずれを把持させるか選択する。選択部23bは、機器を用いた処理対象に対する処理において、ハンド3cが水平か否かを判断する。選択部23bは、処理においてハンド3cが水平であれば、第1の位置測定センサ2の第1のハンドル2aを把持させると選択する。また、選択部23bは、処理においてハンド3cが垂直であれば、第1の位置測定センサ2の第2のハンドル2bを把持させると選択する。選択部23bは、第1の位置測定センサ2が、処理時と測定時とでハンド3cの角度を変えずに把持できるハンドルを有していない場合、処理時と測定時とでハンド3cの角度を出来る限り変化させなくても把持できるハンドを選択する。
本実施形態に係る選択部23bによれば、機器を用いた処理時のアームの姿勢をよりよく再現するように、第1の位置測定センサ2を把持させ、機器の位置を測定させることができる。そのため、機器の位置を測定する時と機器を用いた処理を行う時とのアームの姿勢の差をより小さくすることができ、アームに把持されたツールの位置合わせをより正確に行うことができる。
なお、本例において、第1のハンドル2a及び第2のハンドル2bは、光軸Aを基準として平行又は直交する方向に延伸して設けられているが、第1の位置測定センサ2のハンドルは、これら以外の方向に設けられてもよいし、湾曲して設けられてもよい。もっとも、ツールを把持する際に、ハンド3cは水平又は垂直に制御される場合が多く、第1の位置測定センサ2が、水平方向又は垂直方向から把持できるハンドを有することで、ツールによる処理時と第1の位置測定センサ2による測定時とで、ハンド3cの向きを揃えることができる。仮に、ハンド3cを水平又は垂直以外の向きとして把持されるツールがある場合には、それと同じハンド3cの向きで把持できるハンドルを第1の位置測定センサ2に設けることで、処理時と測定時におけるアームの姿勢の差を小さくすることができる。また、ツール使用時のアームの姿勢とより近い姿勢で測定するため、ツールに応じて第1の位置測定センサ2のハンドルとして、同じ方向のものを位置が異なるよう複数設けてもよい。
以上の説明において、ハンド3cによる第1の位置測定センサ2の把持は、把持毎に同じ把持位置で行えるものとして、把持位置がずれることは考慮していなかった。しかしながら、実際には、ハンド3cによる第1の位置測定センサ2の把持位置には、把持毎に僅かなずれが生じるおそれがある。そのため、本実施形態に係る処理システム200は、所定の位置に固定された位置基準器具9を有し、ロボット制御装置1の補償部23aは、第1の位置測定センサ2をハンド3cに把持させた状態で、機器の位置を測定する前に、位置基準器具9の位置を測定させ、第1の位置測定センサ2の把持位置のずれを補償させる。
補償部23aは、ハンド3cに把持された第1の位置測定センサ2によって位置基準器具9の位置を測定させ、位置基準器具9についての測定結果と、予め記憶された位置基準器具9の固定位置とを比較する。そして、比較結果に応じて、第1の位置測定センサ2による測定値を、把持位置のずれを相殺するように増減させて、測定値を補償する。
なお、本実施形態に係る処理システム200は、位置基準器具9を独立した部材として有するが、他の機器を位置基準器具として用いてもよい。例えば、ピペットラック10を位置基準器具として用いたり、第1の位置測定センサ2のラックを位置基準器具として用いたりしてもよい。これにより、作業台に設置する部材の数を減らすことができる。
本実施形態に係る補償部23aによれば、第1の位置測定センサ2の把持位置のずれが補償され、把持位置が把持毎に僅かにずれる場合であっても、機器の位置が正確に測定される。そのため、第1の位置測定センサ2の把持位置を厳密に制御しなくても正確な測定が可能となり、ツールの精密な位置合わせが可能となる。
本実施形態に係るロボット3は、第1アーム3aに備えられた第2の位置測定センサ4を有する。ロボット制御装置1は、第2の位置測定センサ4により測定された機器又は処理対象の位置に基づいて、機器を用いた処理対象に対する処理を行わせる。第1の位置測定センサ2と第2の位置測定センサ4とは、センサとしては同一のものであってよい。ロボット制御装置1は、精密なアームの制御が要求される処理について、処理に先立って第1の位置測定センサ2を用いた機器の位置の測定を行なわせて、座標系の較正を行う。一方、遠心分離器12にマイクロチューブ6を収容する場合やマイクロチューブ6に収容された処理対象の位置を測定する場合等、処理毎に比較的大きな位置の変動が予想される測定対象を測定する場合には、第2の位置測定センサ4を用いた位置の測定を行わせる。
本実施形態に係るロボット制御装置1によれば、一律に第1の位置測定センサ2により測定対象の位置を測定させる場合に比べて、第1の位置測定センサ2の把持等の動作を省略でき、処理に要する総時間を短縮することができる。また、処理に応じて位置測定センサを使い分けることができ、作業精度の向上と処理時間の短縮化を両立できる。
図7は、本発明の実施形態に係るロボット制御装置1によって行なわれるロボットの制御方法のフローチャートである。はじめに、位置測定部23の選択部23bによって、機器を用いた処理対象に対する処理において、ハンド3cの向きを判断し(ST100)、その向きに応じたハンドルを選択する処理へと分岐する。処理においてハンド3cが水平である場合、選択部23bは、第1の位置測定センサ2の第1のハンドル2aを把持させると選択し、ロボット3は、ハンド3cによって第1のハンドル2aを把持する(ST101)。一方、処理においてハンド3cが水平でない場合、選択部23bは、第1の位置測定センサ2の第2のハンドル2bを把持させると選択し、ロボット3は、ハンド3cによって第2のハンドル2bを把持する(ST102)。なお、第1の位置測定センサ2が同じ向きの複数のハンドルを有する場合には、さらに、処理時に用いるツールに応じて把持するハンドルを選択するようにしてもよい。
次に、補償部23bにより、ハンド3cによって把持された第1の位置測定センサ2によって、位置基準器具9の位置を測定する(ST103)。そして、測定された位置基準器具9の位置と、位置基準器具9が固定された所定の位置とを比較して、把持位置のずれを補償する(ST104)。
その後、位置測定部23により、ハンド3cに把持された第1の位置測定センサ2を第1アーム3aにより移動させ、ロボット3が処理対象に処理を行う際に使用される機器の位置を測定する(ST105)。測定された機器の位置に基づいて、機器座標系Sが構成される。そして、機器座標系Sとロボット座標系Sとの間の関係を較正する、較正処理を行う(ST106)。
本実施形態に係るロボットの制御方法によれば、アームにピペット7等のツールを把持させて処理を行わせる場合におけるアームの姿勢と近い姿勢で、第1の位置測定センサ2により機器の位置を測定することができ、アームの関節を構成する歯車のバックラッシやたわみ等の影響によりハンド3cのアプローチする点にずれが生じることが防止される。そのため、ハンド3cにツールを把持させて作業をさせる場合に、ハンド3cに把持されたツールを精密に位置合わせすることができる。
以上説明した実施形態の構成は具体例として示したものであり、本明細書にて開示される発明をこれら具体例の構成そのものに限定することは意図されていない。当業者はこれら開示された実施形態に種々の変形、例えば、機能や操作方法の変更や追加等を加えてもよく、また、フローチャートに示した制御は、同等の機能を奏する他の制御に置き換えてもよい。本明細書にて開示される発明の技術的範囲は、そのようになされた変形をも含むものと理解すべきである。

Claims (7)

  1. 先端にツールを把持するためのハンドを有する少なくとも1のアームを有するロボットと、
    前記ハンドに把持されて前記アームにより移動され、前記ロボットが前記ツールにより処理対象に処理を行う際に使用される機器の位置を測定する第1の位置測定センサと、
    前記ハンドに前記第1の位置測定センサを把持させ、前記第1の位置測定センサにより、前記機器の位置を測定させるロボット制御装置と、
    所定の位置に固定された位置基準器具と、
    を有し、
    前記ロボット制御装置は、
    前記第1の位置測定センサを前記ハンドに把持させる毎に、前記第1の位置測定センサを前記ハンドに把持させた状態で、前記位置基準器具の位置を測定させ、前記第1の位置測定センサの把持位置のずれを補償させる補償部を有する、
    処理システム。
  2. 前記第1の位置測定センサは、レーザセンサであり、
    前記ロボット制御装置は、前記処理対象に対する処理に用いられるツールを前記ハンドに把持する場合における前記ツールの中心軸と、前記レーザセンサのレーザ光の光軸とが重なるように、前記ハンドに前記レーザセンサを把持させる、
    請求項1に記載の処理システム。
  3. 前記ロボット制御装置は、前記第1の位置測定センサにより、前記機器の位置を測定させる際、前記ハンドの長手方向と交わる方向が前記第1の位置測定センサによる測定範囲となるように、前記第1の位置測定センサを前記ハンドに把持させる、
    請求項1又は2に記載の処理システム。
  4. 前記第1の位置測定センサは、前記ハンドにより把持される複数のハンドルを有し、
    前記ロボット制御装置は、前記機器を用いた前記処理対象に対する処理に応じて、前記第1の位置測定センサの前記複数のハンドルのうちいずれを把持させるか選択する選択部を有する、
    請求項1〜3のいずれか1項に記載の処理システム。
  5. 前記複数のハンドルは、それぞれ異なる方向に延伸して設けられ、
    前記ロボット制御装置は、前記ハンドを前記複数のハンドルの設けられた方向に対応した角度として、前記複数のハンドルのうちいずれかを把持させる、
    請求項に記載の処理システム。
  6. 前記ロボットに備えられた第2の位置測定センサをさらに有し、
    前記ロボット制御装置は、前記第2の位置測定センサにより測定された前記機器又は前記処理対象の位置に基づいて、前記機器を用いた前記処理対象に対する処理を行わせる、 請求項1〜のいずれか1項に記載の処理システム。
  7. 先端にツールを把持するためのハンドを有する少なくとも1のアームを有するロボットにより、前記ハンドに第1の位置測定センサを把持し、
    前記ハンドに把持された前記第1の位置測定センサを前記アームにより移動させ、前記ロボットが前記ツールにより処理対象に処理を行う際に使用される機器の位置を測定する、
    ロボットの制御方法であって、
    前記第1の位置測定センサを前記ハンドに把持させる毎に、前記第1の位置測定センサを前記ハンドに把持させた状態で、位置基準器具の位置を測定させ、前記第1の位置測定センサの把持位置のずれを補償させる
    ロボットの制御方法
JP2017538828A 2015-09-11 2015-09-11 処理システム及びロボットの制御方法 Expired - Fee Related JP6566037B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/075891 WO2017042971A1 (ja) 2015-09-11 2015-09-11 処理システム及びロボットの制御方法

Publications (2)

Publication Number Publication Date
JPWO2017042971A1 JPWO2017042971A1 (ja) 2018-03-29
JP6566037B2 true JP6566037B2 (ja) 2019-08-28

Family

ID=58239323

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017538828A Expired - Fee Related JP6566037B2 (ja) 2015-09-11 2015-09-11 処理システム及びロボットの制御方法

Country Status (3)

Country Link
US (1) US10913150B2 (ja)
JP (1) JP6566037B2 (ja)
WO (1) WO2017042971A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI795684B (zh) * 2020-10-22 2023-03-11 仁寶電腦工業股份有限公司 感測系統及其配對方法
CN112614181B (zh) * 2020-12-01 2024-03-22 深圳乐动机器人股份有限公司 一种基于高亮目标的机器人定位方法及装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60128506A (ja) 1983-12-16 1985-07-09 Fujitsu Ltd ロボット座標系の較正方法
JPH0593749U (ja) * 1992-05-13 1993-12-21 株式会社椿本チエイン チャックとロボットハンドの相対位置確認装置
JPH09105608A (ja) 1995-10-09 1997-04-22 Nippon Steel Corp 荷物の位置計測方法
JPH09319420A (ja) * 1996-05-31 1997-12-12 Ricoh Co Ltd 組立ロボット
JPH10301609A (ja) * 1997-04-28 1998-11-13 Denso Corp ロボットの位置誤差検出方法及びその装置
JPH1142579A (ja) * 1997-07-30 1999-02-16 Nippon Telegr & Teleph Corp <Ntt> 位置決め位置オフセット補正方法及び装置
JPH11347985A (ja) * 1998-06-10 1999-12-21 Honda Motor Co Ltd 視覚センサ付ロボットシステムのトラブル診断方法
JP2000006067A (ja) 1998-06-23 2000-01-11 Nippon Telegr & Teleph Corp <Ntt> マニピュレータ用教示データ作成方法及び装置並びにプログラムを記録した記録媒体
JP2007188615A (ja) * 2006-01-16 2007-07-26 Fujitsu Ltd ライブラリ装置、ライブラリ装置のカートリッジ型センサおよびライブラリ装置のカートリッジ型センサ位置付け方法
US7822249B2 (en) * 2006-08-25 2010-10-26 The Trustees Of Columbia University In The City Of New York Systems and methods for high-throughput radiation biodosimetry
JP2009032189A (ja) 2007-07-30 2009-02-12 Toyota Motor Corp ロボットの動作経路生成装置
WO2009025271A2 (ja) 2007-08-22 2009-02-26 Kabushiki Kaisha Yaskawa Denki ロボットの制御装置および制御方法
US9333654B2 (en) 2008-03-31 2016-05-10 Abb Research Ltd. Robot parts assembly on a workpiece moving on an assembly line
JP2010036293A (ja) 2008-08-04 2010-02-18 Jtekt Corp 多関節ロボット
JP5232124B2 (ja) 2009-10-28 2013-07-10 本田技研工業株式会社 脚式移動ロボットの制御装置
CN102145490A (zh) * 2010-02-08 2011-08-10 鸿富锦精密工业(深圳)有限公司 机械手臂装置
JP2011177845A (ja) 2010-03-02 2011-09-15 Seiko Epson Corp ロボットのキャリブレーション方法及びロボット用キャリブレーション装置
JP5544957B2 (ja) * 2010-03-18 2014-07-09 株式会社Ihi カメラ脱着ロボット装置、ワーク把持システム、およびワーク把持方法
JP5366018B2 (ja) 2010-04-28 2013-12-11 株式会社安川電機 ロボットの教示手順校正装置および方法
JP5516974B2 (ja) * 2010-07-07 2014-06-11 株式会社Ihi 視覚センサのマウント装置と方法
JP5523392B2 (ja) 2011-05-23 2014-06-18 三菱電機株式会社 キャリブレーション装置及びキャリブレーション方法
JP6195333B2 (ja) 2012-08-08 2017-09-13 キヤノン株式会社 ロボット装置
JP5652445B2 (ja) 2012-08-31 2015-01-14 株式会社安川電機 ロボット
JP5582427B2 (ja) 2012-12-18 2014-09-03 株式会社安川電機 教示データ作成装置、ロボットシステム、及び教示データ作成方法
JP6130242B2 (ja) 2013-06-26 2017-05-17 Dmg森精機株式会社 測定装置を備えた工作機械
JP2015085481A (ja) * 2013-11-01 2015-05-07 セイコーエプソン株式会社 ロボット、ロボットシステム、ロボット制御部及び把持方法
JP2015089575A (ja) 2013-11-05 2015-05-11 セイコーエプソン株式会社 ロボット、制御装置、ロボットシステム及び制御方法
JP6415190B2 (ja) * 2014-09-03 2018-10-31 キヤノン株式会社 ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法

Also Published As

Publication number Publication date
JPWO2017042971A1 (ja) 2018-03-29
US20180194004A1 (en) 2018-07-12
US10913150B2 (en) 2021-02-09
WO2017042971A1 (ja) 2017-03-16

Similar Documents

Publication Publication Date Title
JP6555351B2 (ja) 処理システム及びロボットの制御方法
CN107995885B (zh) 一种坐标系标定方法 、***及装置
US9061421B2 (en) Robotic work object cell calibration method
JP5444209B2 (ja) フレームマッピングおよびフォースフィードバックの方法、装置およびシステム
CN108453785B (zh) 机器人***、机器人控制装置以及机器人控制方法
JP5946859B2 (ja) 力に応じて動かすロボットのロボット制御装置およびロボットシステム
CN108235696B (zh) 机器人控制方法和设备
US8485017B1 (en) Robotic work object cell calibration system
US9669546B2 (en) Robotic work object cell calibration method
KR20150015405A (ko) 로봇 시스템 및 피가공물의 제조 방법
JP2010149267A (ja) ロボットのキャリブレーション方法および装置
JP5450242B2 (ja) マニピュレータのキャリブレーション方法及びロボット制御システム
JP7258516B2 (ja) キャリブレーション方法および把持システム
JP6566037B2 (ja) 処理システム及びロボットの制御方法
JP5787646B2 (ja) ロボットシステム及び部品の製造方法
JP5574805B2 (ja) 視覚センサを有するマニピュレータのセンサキャリブレーション方法及びロボット制御システム
JPH05111897A (ja) 複数台のロボツトの相対位置関係取得方式
CN107009360A (zh) 一种六轴多关节工业机器人的校准装置及方法
CN114290330B (zh) 机器人的校准方法和校准装置、机器人和可读存储介质
JP2015100874A (ja) ロボットシステム
JP4595042B2 (ja) 3次元測定方法およびシステム並びにマニピュレータの制御方法および装置
JP5942720B2 (ja) 状態判別方法、ロボット、制御装置、及びプログラム
US11654562B2 (en) Apparatus, robot control device, robot system, and method of setting robot coordinate system
US11969900B2 (en) Teaching apparatus, control method, and teaching program
Blank Robot Calibration Based on Position Sensitive Devices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190715

R150 Certificate of patent or registration of utility model

Ref document number: 6566037

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees