JP2019505938A - 産業用ロボットを用いてタッチスクリーンパネルを較正するための方法、及びこれを使用したシステム、産業用ロボット、並びにタッチスクリーン - Google Patents

産業用ロボットを用いてタッチスクリーンパネルを較正するための方法、及びこれを使用したシステム、産業用ロボット、並びにタッチスクリーン Download PDF

Info

Publication number
JP2019505938A
JP2019505938A JP2018555804A JP2018555804A JP2019505938A JP 2019505938 A JP2019505938 A JP 2019505938A JP 2018555804 A JP2018555804 A JP 2018555804A JP 2018555804 A JP2018555804 A JP 2018555804A JP 2019505938 A JP2019505938 A JP 2019505938A
Authority
JP
Japan
Prior art keywords
touch screen
industrial robot
touch
area
screen panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018555804A
Other languages
English (en)
Other versions
JP6619106B2 (ja
Inventor
ク、ハオ
チ、リウェイ
メルランデル、ロゲル
ワップリング、ダニエル・エックス.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ABB Schweiz AG
Original Assignee
ABB Schweiz AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ABB Schweiz AG filed Critical ABB Schweiz AG
Publication of JP2019505938A publication Critical patent/JP2019505938A/ja
Application granted granted Critical
Publication of JP6619106B2 publication Critical patent/JP6619106B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39021With probe, touch reference positions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39032Touch probe senses constraint known plane, derive kinematic calibration
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39092Treat interference in hardware, circuit and also in software

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Numerical Control (AREA)

Abstract

これは、タッチスクリーンパネル(11)を較正するための方法、及びこれを使用するシステム(1)、産業用ロボット(10)、並びにタッチスクリーンパネル(11)を提供する。本方法は、(a)位置測定のための所定の精度を有するタッチスクリーン(112)の少なくとも1つのエリア(20)を画定するステップと、(b)タッチスクリーン(112)の少なくとも1つのエリア(20)上の複数の第1のタッチポイント上の産業用ロボット(10)の複数の運動学パラメータを記録するステップと、(c)タッチスクリーン(112)の少なくとも1つのエリア(20)上の複数の第1のタッチポイント上の複数の第1の位置値を記録するステップと、(d)運動学パラメータを使用して及び第1の位置値を使用して、産業用ロボット(10)の運動学モデルのための第1の較正データを決定するステップと、(e)第1の較正データを使用して産業用ロボット(10)の運動学モデルの誤差を計算的に修正するステップと、(f)その境界の少なくとも一部分が外方に拡張した少なくとも1つのエリア(20)上の複数の第2のタッチポイント上の複数の第2の位置値を記録するステップと、(g)運動学パラメータを使用して及び第2の位置値を使用して、タッチスクリーン(112)のための第2の較正データを決定するステップと、(h)第2の較正データを使用してタッチスクリーン(112)の位置測定の誤差を計算的に修正するステップと、産業用ロボット(10)の異なる姿勢についてステップ(b)乃至(h)を反復して、この反復ステップが産業用ロボット(10)の運動学モデルの誤差修正の著しい改善をこれ以上もたらさなくなるまで繰り返すステップと、を含む。

Description

本発明は、タッチスクリーンの較正に関し、具体的には、タッチスクリーンの位置測定の較正に関する。
タッチスクリーンパネルは、ゲーム機、パーソナルコンピュータ、タブレットコンピュータ、電子投票機、及びスマートフォンのようなデバイスによくみられる、情報処理システムの電子視覚ディスプレイの上部に通常積層されている入力デバイスである。それらはまた、コンピュータに接続、又は端末としてネットワークに接続されることもできる。ユーザは、特殊なスタイラス/ペン及び/又は1本以上の指でスクリーンにタッチすることによる単一の又はマルチタッチのジェスチャを通して入力を与えること又は情報処理システムを制御することができる。
抵抗膜式タッチスクリーン、表面弾性波タッチスクリーン、静電容量式タッチスクリーン等のような、タッチを感知する種々の方法を用いる様々なタッチスクリーン技術が存在する。静電容量式タッチスクリーンを例として挙げると、タッチスクリーンパネルのスクリーンにタッチすると、静電容量の変化として測定可能な、スクリーンの静電界の歪みを引き起こす。種々の既知の技術がタッチのロケーションを決定するために使用されてもよく、そのロケーションは、次いで、処理のためにタッチスクリーンパネルコントローラに送られる。米国特許第4853498号Aは、ロケーション決定方法を開示しており、ここでは、静電容量式タッチスクリーンパネルについての位置測定が、導電性フェイスプレートと、スタイラス接触ロケーションを示すアドレス信号を生成する装置とを有する。米国特許第4853498号Aによるタッチスクリーンパネルは、一定の抵抗性の導電層を有するフェイスプレートを提供しており、それは、スタイラスと接触しているフェイスプレート上の位置を示すアドレス信号を生成するための位置測定装置を用いる。位置測定信号は、フェイスプレートのそれぞれの側縁に沿って配置された対向電極の第1のペア及び対向電極の第2のペアに印加される。導電層の抵抗性は、電極のそれぞれの第1のペアと第2のペアとの間にRx及びRyという実効抵抗を確立する。位置測定サブ回路は、スタイラスが導電層にタッチする度に電極を通って導出される電流を測定し、それによって、スタイラスがフェイスプレートに接触したロケーションを示すアドレス信号を形成する。当業者は、スクリーン上の2つのタッチポイント間の距離が、このような2つのタッチポイントのロケーションを示すアドレス信号を使用して計算されることができることを理解するべきである。
より高感度、より高解像度、より多次元(すなわち、方位を用いる3D位置測定)に向かう傾向にあるタッチ技術は、産業用ロボットコミッショニングシステムにおける位置測定を好適にする。レーザーベース又はエンコーダベースの産業用3D測定デバイスと比較すると、タッチスクリーンパネルは簡単にアクセスでき低コストである。
タッチスクリーンパネルの使用による位置測定は、タッチスクリーン上のタッチポイントにおける確立された実効抵抗に依存し、上記のように計算される2つのタッチポイント間の距離は、それらタッチポイント間に設けられた感知素子の誤配置の影響の結果として誤差を有する。それゆえ、タッチポイントが、スクリーンの比較的小さいエリア、例えば、ある方向に感知素子を10個未満包含する比較的小さいエリアに限られる場合、それらの位置測定の距離についての誤差は小さいので、比較的高い正確さの位置測定のために無視されることができる。しかしながら、位置測定の精度は、それが、例えば、ある方向に感知素子を10個以上包含する、タッチスクリーンの比較的大きいエリアに適用されると、不満足なものになる。
位置測定の誤差を低減するようにタッチスクリーン座標系を較正するために、座標測定機(CMM)が使用されることができる。しかしながら、これは、CMMのような追加のデバイスの導入により、産業用ロボットコミッショニングシステムのコストをより高くする。
本発明の一態様によれば、それは、タッチスクリーンパネルを較正するための方法を提供し、ここで、タッチスクリーンパネルは、産業用ロボットがタッチスクリーンパネルのタッチスクリーンにタッチすることができるように、産業用ロボットの作業範囲に配置され、本方法は、(a)位置測定のための所定の精度を有するタッチスクリーンの少なくとも1つのエリアを画定するステップと、(b)タッチスクリーンの少なくとも1つのエリア上の複数の第1のタッチポイント上の産業用ロボットの複数の運動学パラメータを記録するステップと、(c)タッチスクリーンの少なくとも1つのエリア上の複数の第1のタッチポイント上の複数の第1の位置値を記録するステップと、(d)運動学パラメータを使用して及び第1の位置値を使用して、産業用ロボットの運動学モデルのための第1の較正データを決定するステップと、(e)第1の較正データを使用して産業用ロボットの運動学モデルの誤差を計算的に修正することと、(f)その境界の少なくとも一部分が外方に拡張した少なくとも1つのエリア上の複数の第2のタッチポイント上の複数の第2の位置値を記録するステップと、(g)運動学パラメータを使用して及び第2の位置値を使用して、タッチスクリーンのための第2の較正データを決定するステップと、(h)第2の較正データを使用してタッチスクリーンの位置測定の誤差を計算的に修正するステップと、産業用ロボットの異なる姿勢についてステップ(b)乃至(h)を反復して、この反復ステップが産業用ロボットの運動学モデルの誤差修正の著しい改善をこれ以上もたらさなくなるまで繰り返すステップと、を含む。
本発明の別の態様によれば、それは産業用ロボットを含むタッチスクリーンパネルを較正するためのシステムを提供し、タッチスクリーンパネルは、タッチスクリーンパネルを較正するための方法を実行するように構成されている。
本発明の別の態様によれば、それはタッチスクリーンパネルを較正するための方法を実行するように構成されている、ロボットコントローラ及びロボットメモリを含む産業用ロボットを提供する。
本発明の別の態様によれば、それはタッチスクリーンパネルを較正するための方法を実行するように構成されている、タッチスクリーンパネルコントローラ及びタッチスクリーンパネルメモリを含むタッチスクリーンパネルを提供する。
本方法及びこれを使用するシステム、産業用ロボット、並びにタッチスクリーンパネルを使用することによって、適切な位置測定精度の条件下のタッチスクリーンパネルのエリアが最初に画定され、タッチスクリーンパネルの比較的小さいエリアは許容可能な位置測定精度を提供する。よって、これにより、タッチスクリーンパネルを使用して、特に、その上に画定された少なくとも1つのエリアを使用して、産業用ロボットを較正することが可能になり、これは別の方法であれば追加の較正ツールを使用して較正される必要がある。タッチスクリーンパネルの較正の目的のために産業用ロボットコミッショニングシステムにおける産業用ロボットを再使用することによって、これは、較正の新機能を追加し、システムのコストを削減するという、相反する要件を解決するのに役立つ。タッチスクリーンパネルの較正のために追加のデバイスが必要ないので、これは有利である。
好ましくは、第1のタッチポイントの数は、産業用ロボットの運動学パラメータの数以上である。
好ましくは、第2のタッチポイントの数は、タッチスクリーンの次元数以上である。
好ましくは、ステップ(e)において、少なくともそのエリアは、前のエリアを囲むように拡張される。これにより、エリアが前のエリアから徐々に拡大することが可能となり、このような反復ループの進行に伴うエリアの拡大は、較正精度の著しい低下につながることはない。
好ましくは、ステップ(e)において、第2のタッチポイントの少なくとも一部分は、少なくとも1つのエリアの拡張された部分に分布する。よって、それは、拡大されたエリアにおける誤差分布を適合させるためのマッピング関数の精緻化を行う。
好ましくは、本方法はさらに、反復の終了に続いて、運動学パラメータを使用して及び第2の位置値を使用して、タッチスクリーンのための第3の較正データを決定するステップと、第3の較正データを使用して残りのエリアのためのタッチスクリーンの位置測定の誤差を計算的に修正するステップと、を含む。反復の終了時に、産業用ロボットの絶対精度が集束し、これは、例えば直交座標空間における産業用ロボットのエンドエフェクタの位置精度によって表される。よって、タッチスクリーンのエリア全体の較正に役立つその最適な運動学モデルが見つかる。結果として、タッチスクリーンのエリア全体の較正が達成されることができる。
本発明の主題が、図中に例示される好ましい実例的な実施形態を参照して下記により詳細に説明される。
図1は、本発明の一実施形態による産業用ロボットコミッショニングシステムを例示している。 図2は、本発明の一実施形態による産業用ロボットを用いたタッチスクリーンパネルの較正の概略図を示し、ここで、矢印は、タッチスクリーンパネルの較正プロセスの進行を示している。 図3Aは、本発明の一実施形態によるエリアとその拡張の変形を示している。 図3Bは、本発明の一実施形態によるエリアとその拡張の変形を示している。 図4は、本発明の一実施形態による、反復の1つにおける、タッチスクリーンパネルの使用による産業用ロボット較正を例示している。 図5は、本発明の一実施形態による、反復の1つにおける、産業用ロボットの使用によるタッチスクリーン較正を例示している。
図中に使用されている参照記号及びそれらの意味は、参照記号のリストに要約形式でリストにされている。原理的に、図中では同一の部分には同じ参照記号が与えられている。
以下の説明には、限定ではなく説明の目的で、本発明の完全な理解を提供するために、特定の回路、回路部品、インターフェース、技法等のような、特定の詳細が記述されている。しかしながら、当業者には、本発明がこれらの特定の詳細から逸脱する他の実施形態で実施されてもよいことが明らかになるであろう。他の事例では、周知の方法及びプログラミングプロシージャ、デバイス、並びに回路の詳細な説明が、本発明の説明を不要な詳細で曖昧にしないように省略される。
図1は、本発明の一実施形態による産業用ロボットコミッショニングシステムを例示している。図1に示されているように、産業用ロボットシステム1は、産業用ロボット10及びタッチスクリーンパネル11を含む。産業用ロボット10の姿勢、位置、及び動きは、例えば、産業用ロボットのベース座標系のような、産業用ロボット座標系xr、yr、zrを照会する。産業用ロボット10には、少なくとも1つのプロセッサ、メモリ、及び通信手段を含む、産業用ロボットコントローラ100が設けられている。この例では、産業用ロボットコントローラ100は、本発明による方法におけるステップの大部分を実施するために利用される。タッチスクリーンパネル11は、スタイラスによるタッチスクリーン座標系xt、yt、ztに対するタッチ位置を読み取り、記録することができる、タッチスクリーン112、タッチスクリーンパネルコントローラ110、及びタッチスクリーンパネルメモリ111を含む。代替として、タッチスクリーンパネルコントローラ110は、本発明による方法におけるステップの大部分を実施するために利用される。スタイラスは、電磁ベース、超音波ベース、及び機械ベースであることができる。タッチスクリーンパネル11のタッチスクリーン112はまた、表示することができ、それがどのように表示されるかを制御することができる。タッチスクリーンコントローラ110がAPPを作動させる計算電力を有することが好ましい。好ましくは、測定能力に関して、WACOMからの市販のタブレットは、5マイクロメートルのタッチに達することができる。産業用ロボットコントローラ100及びタッチスクリーンパネルコントローラ110は、通信リンクを介して互いに通信し合うことができ、これは、産業用ロボットコミッショニング制御システムを構成する。産業用ロボット座標系xr、yr、zrに対して既知の位置において産業用ロボットのフランジ101にエンドエフェクタ12が取り付けられ、予めプログラミングされたロボットターゲットを用いたある特定の姿勢を産業用ロボット11が想定すると、エンドエフェクタ12が産業用ロボット10と共に動き、タッチスクリーンパネル11のタッチスクリーン112にタッチすることができるように、タッチスクリーンパネル11は、産業用ロボット10の作業範囲に配置される。スタイラスをその末端に有するエンドエフェクタ12は、電磁ビーム、超音波ビーム、又は機械的接触でタッチスクリーンにタッチすることができる、電磁ベース、超音波ベース、又は機械ベースのスタイラスを有する産業用ロボット10に対して固定関係にあることができる。これに対応して、タッチスクリーンパネル11のタッチスクリーン112は、電磁ビーム、超音波ビーム、又は機械的接触の読取り値を検出し、タッチポイントを記録することができる。産業用ロボット10に対して固定関係にあるエンドエフェクタと比較して、代替のエンドエフェクタは、そのスタイラスが産業用ロボット10に対して突出することができるという点で異なる。
産業用ロボットシステム1は、エンドエフェクタ12のスタイラスをタッチスクリーンパネル11のタッチスクリーン112にタッチさせるのに自動かつ正確でなければならない。自動かつ正確なタッチポイントを達成するために、ロボットのソフトかつコンプライアントな制御が必要である。このようなソフトかつコンプライアントなロボットの制御を達成するために、力/トルクセンサを含む力制御を使用することが可能である。ロボット設備に力制御が含まれない場合、タッチスクリーンパネル11のタッチスクリーン112との接触へとロボットを動かすために、タッチの発生を示す信号を産業用ロボットコントローラ100に送るようにタッチスクリーンパネルコントローラ110を適応させるが、依然としてタッチポイントの正しく正確な位置を見つけるのにコンプライアントであることが可能である。エンドエフェクタ12がタッチ位置にくるとすぐに、位置データが、タッチスクリーンパネルコントローラ110内で読み取られ、産業用ロボット座標系xr、yr、zrとタッチスクリーン座標系xt、yt、ztとの間の関係の計算のための基準値と共に使用されることができる。
図2は、本発明の一実施形態による産業用ロボットを用いたタッチスクリーンパネルの較正の概略図を示しており、ここで、矢印は、タッチスクリーンパネルの較正プロセスの進行を示している。
図2にしたがうと、タッチスクリーンパネル11を較正するための較正方法がここで、ステップ(a)において、位置測定のための所定の精度を有するタッチスクリーン112の少なくとも1つのエリア20を画定することから開始する。タッチスクリーン112上に画定されるエリア20は、例えば、半径を有する円形である。タッチスクリーンパネル11によって所定の位置測定精度を達成するために、少なくとも1つのエリア20の各々が、それが位置測定の方向、例えば円形エリア20の直径に沿って複数の感知素子を覆うように選択され、そのような感知素子の数は、複数の感知素子を占める累積誤差がしきい値を超えることにならないように最大値を下回るように保たれ、例えば、ハードウェアの解像度によっては2mm*2mmのエリアにおける精度が良好であるであろう。2mm*2mmほどの小さいエリアにおけるタッチスクリーンパネルの精度は、名目上の解像度値とみなされることができる。すなわち、0.05mmの解像度を有するタッチパネルについては、位置測定精度は、小さいエリアにおいて0.05mmであることができる。以下は、感知素子の数と累積誤差間の相関を例示する式である。
ここで、Eは累積誤差を表し、eは感知素子iの誤差を表し、Nは測定ポイント間に配置された感知素子の数である。
適切な位置測定精度の条件下のタッチスクリーンパネルのエリアを画定することによって、タッチスクリーンパネル11の比較的小さいエリア20は許容可能な位置測定精度を提供する。よって、これにより、タッチスクリーンパネルを使用して、特に、その上に画定された少なくとも1つのエリア20を使用して、産業用ロボットを較正することが可能になり、これは、別の方法であれば追加の較正ツールを使用して較正される必要がある。
反復ループは、反復1における参照符号20によって示されているエリア、反復2におけるエリア20’、及び反復3におけるエリア20”のような、産業用ロボットによってタッチされたエリアの拡大の進行を伴うステップ(b)乃至(h)を含む。図2に示されているように、反復ループは、反復ステップが産業用ロボットの運動学モデルの誤差修正の著しい改善をこれ以上もたらさなくなる3回の反復後に終了する。産業用ロボットの運動学モデルがどのくらい正確に修正されるかによって改善の有意性が評価されることができ、例えば、産業用ロボットのエンドエフェクタ位置の誤差は、直交座標空間における0.01mmといった、所定のレベルを下回るように調整される。この条件下で、例えば、直交座標空間における産業用ロボットのエンドエフェクタの位置精度によって表される、産業用ロボットの絶対精度が集束し、よって、タッチスクリーンのエリア全体の較正に役立つその最適な運動学モデルが見つかる。産業用ロボットが再較正された後、ロボット精度は、タッチパネルを再較正するための基準として使用されることができる。典型的には、ロボットは、運動学的な再較正の後、100mm*100mmのエリアで0.1mmの精度に達することができる。
ステップ(b)にしたがうと、タッチスクリーン112の少なくとも1つのエリア20上の複数の第1のタッチポイントが産業用ロボット10によってタッチされ、産業用ロボット10の複数の運動学パラメータは、エリア20上の第1のタッチポイントにタッチする際のそれの姿勢について記録される。例えば、これらの運動学パラメータは、産業用ロボットメモリに記憶されることができる。ステップ(c)において、タッチスクリーン112の少なくとも1つのエリア上の複数の第1のタッチポイント上の複数の第1の位置値が記録される。例えば、これらの第1の位置値は、タッチスクリーンパネルメモリに記憶されることができる。
産業用ロボットの運動学パラメータ及び第1のタッチポイントの位置値が得られたら、ステップ(d)において、産業用ロボットの運動学モデルのための第1の較正データが、運動学パラメータを使用して及び第1の位置値を使用して決定される。第1の較正データは、エリア内の第1のタッチポイントのペアのロケーション間の差分情報を表すデータと、第1のタッチポイントのペアにタッチする際の姿勢で想定される産業用ロボットの運動学パラメータ間の差分情報を表すデータとを含む。第1の較正データは、第1のタッチポイントの複数のペアに関する上記差分情報と、産業用ロボットの運動学パラメータの解を計算するのに十分な情報エントロピーを与えるように第1のタッチポイントペアのうちのいくつが決定されることができるかと、を表すデータを備えてもよい。次いで、ステップ(e)において、第1の較正データを使用して産業用ロボットの運動学モデルの誤差を計算的に修正する。図4にしたがって下記に詳細に説明されるが、例えば、産業用ロボットの運動学パラメータの最適解について検索するために最適化ベースの設計の原理が使用されてもよく、改善された局所的な絶対精度は、100mm*100mmで0.1mmに達することができる。
実験の結果は、ステップ(e)において決定された産業用ロボットの運動学パラメータが与えられると、産業用ロボットの運動学モデルは、その境界が外方に拡張したエリアにおけるタッチングポイントについてのそれの様々な姿勢の正確な記述を提供し、よって、拡張されたエリアにおけるタッチングポイントの距離が産業用ロボットの運動学モデルにしたがって許容可能な精度まで計算されることができることを示している。言い換えると、産業用ロボットの運動学モデルは、その運動学モデルの誤差修正を伴う境界拡張前のものよりも大きいタッチスクリーン上のエリアに生じるタッチングポイントについて良好な精度を有する姿勢予測を提供する。特に、運動学パラメータによって引き起こされる産業用ロボットのエンドエフェクタの位置誤差は、直交座標空間に連続分布を有する。較正された運動学パラメータは、画定されたエリアで適正な精度を達成している。これらの画定されたエリアがタッチスクリーンパネルを覆うとき、近くのエリアにおける産業用ロボットの精度は劇的には変化しない。それゆえ、より大きいエリアにおけるロボットの動きは、依然として比較的正確な予測を有することができる。
タッチスクリーンパネルの較正の目的のために産業用ロボットコミッショニングシステムにおける産業用ロボットを再使用することによって、これは、較正の新機能を追加し、システムのコストを削減するという、相反する要件を解決するのに役立つ。タッチスクリーンパネルの較正のために追加のデバイスが必要ないので、これは有利である。
図3A及び図3Bは、本発明の一実施形態によるエリア及びその拡張の変形を示している。図3Aに示されているように、エリアはその境界の一部分を外方に拡張することによって拡大され、図3Bに示されているように、前のエリアの境界は、その中心から等しく拡張され、よって、拡張されたエリアは、前のエリアを囲んでいる。図3A及び図3Bのいずれにおいても、斜線で示されている部分は、タッチスクリーン上のエリアの拡大を表す。上で説明された第1のタッチングポイントは参照符号30で示され、第2のタッチングポイントは参照符号31で示されている。タッチスクリーンパネルの較正を高速化するために、拡大を可能な限り広範にすることが望ましい。拡張が大きいほど、タッチスクリーンパネルの較正を完了するのに必要な反復回数は少なくなる。他方では、拡大は、較正精度の著しい低下につながるべきではない。例えば、拡大比は以前の2倍であることができる。円エリアを例として挙げると、以下であり、
このような指数関数的な拡大は、反復の増加に伴ってますます急速になることができ、ここで、このエリアは円形であり、nは、半径がrである最小エリアについての拡大比を示す。さらに、第2のタッチポイント31の少なくとも一部分は、少なくとも1つのエリアの拡張された部分に分布しており、これは、拡大されたエリアにおける誤差分布を適合させるための以下の式(4)のマッピング関数を精緻化するために使用されることができる。
図2に戻ると、ステップ(f)によれば、その境界の少なくとも一部分が外方に拡張した少なくとも1つのエリア上の複数の第2のタッチポイントが産業用ロボット10によってタッチされ、タッチスクリーン上のこれらの第2のタッチポイントのロケーション上の複数の第2の位置値が、例えば、タッチスクリーンパネルメモリによって記録される。
産業用ロボットの運動学パラメータ及び第2のタッチポイントの位置値が得られたら、ステップ(g)において、運動学パラメータを使用して及び第2の位置値を使用して、タッチスクリーンについて第2の較正データが決定される。第2の較正データは、拡張されたエリア内の第2のタッチポイントのペアのロケーション間の差分情報を表すデータと、第2のタッチポイントのペアにタッチする際の姿勢で想定される産業用ロボットの運動学パラメータ間の差分情報を表すデータとを含む。第2の較正データは、第2のタッチポイントの複数のペアに関する上記差分情報と、タッチスクリーンの拡張されたエリア上の第2のポイントのロケーションの解を計算するのに十分な情報エントロピーを与えるように第2のタッチポイントペアのうちのいくつが決定されることができるかと、を表すデータを備えてもよい。次いで、ステップ(h)において、第2の較正データを使用してタッチスクリーンの位置測定の誤差を計算的に修正する。例えば、最適化ベースの設計の原理が位置測定の最適解について検索するために使用されてもよく、これは、図5にしたがって下記に詳細に説明される。
反復の終了に続いて、本方法はさらに、運動学パラメータを使用して及び第2の位置値を使用して、タッチスクリーンのための第3の較正データを決定することと、第3の較正データを使用して残りのエリアについてのタッチスクリーンの位置測定の誤差を計算的に修正することとを含む。結果として、タッチスクリーンのエリア全体が較正されている。
図4は、本発明の一実施形態による反復の1つにおけるタッチスクリーンパネルの使用による産業用ロボットの較正を例示している。タッチスクリーンパネルによって取得される位置は、ロボットの運動学パラメータを識別するために使用されることができる。タッチスクリーンパネル11は、産業用ロボットの作業範囲に配置される。エンドエフェクタ12は、産業用ロボットのフランジに取り付けられる。図4に示されているように、例えば、タッチスクリーンパネル11のタッチスクリーン112上に、各々が円形状の5つのエリアが画定されており、エリアごとの位置測定精度が産業用ロボット10の較正のために十分高いと想定する。図2にしたがって先に説明されたように、各エリアは、エリアにおける感知素子を所定のレベルよりも少なく保つことによって、又は良好な位置測定精度を有する産業用ロボットを用いた較正の結果として、適切な位置測定精度を認識する。さらに、エリア20、20’、20”の形状は、図2による反復ループの進行とともに、それらのいくつかが互いに重なり合ってもよい程度まで拡大する。タッチスクリーン112上に画定されたエリアの拡大とともに、及び反復ループごとに、産業用ロボットによって保持されるエンドエフェクタ12によって、第1のタッチングポイントは、エリア20、20’、20”に分布する。
産業用ロボットコントローラは、エンドエフェクタ12のスタイラスが、例えばソフトサーボを用いてタッチスクリーン112上のポイントにタッチするまでコンプライアントな方法で動くように、プログラミングされ、産業用ロボットを制御する。スタイラスは、ロボット座標系xr、yr、zrにおいてロボットソフトウェアにおける組み込まれた数学的処理で計算される。産業用ロボットメモリは、エンドエフェクタ12のスタイラスがタッチスクリーン112のポイントにタッチすると、産業用ロボット座標系xr、yr、zrにおける産業用ロボットの姿勢を記録することができる。タッチスクリーンメモリは、タッチスクリーン座標系xt、yt、ztにおけるタッチスクリーン112上の第1のタッチポイントの位置を記録することができる。プログラミングされた産業用ロボットコントローラは、次いで、タッチスクリーン112上の少なくとも別のタッチについてステップを繰り返すように産業用ロボットを制御し、ここにおいて、タッチの数は、産業用ロボットの運動学パラメータの数以上である。例えば、産業用ロボットが4つの運動学パラメータを有する場合、産業用ロボット座標系xr、yr、zrにおける産業用ロボットの姿勢を有するタッチスクリーン112上の少なくとも4つのタッチ、及びタッチスクリーン座標系xt、yt、ztにおける少なくとも4つの第1のタッチポイント位置である。産業用ロボットコントローラは、産業用ロボットの少なくとも2つの姿勢、第1のタッチポイントの少なくとも2つの位置、及び産業用ロボット座標系とタッチスクリーン座標系との間の関係を使用して、産業用ロボットの運動学パラメータを最適化することができる。特に、例えば、産業用ロボットコントローラは、スタイラス位置を、少なくともN個のタッチ(Nは関心のある運動学パラメータの数に等しい)としてロボットDHパラメータの関数を用いて計算することができる。典型的には、直列ロボットは、Denavit Hartenberg(DH)モデルで表記されることができ、これは、ロボットリンクごとに4つのパラメータを有する。すなわち、リンク長、リンクオフセット、リンクねじれ、及び関節角度である。それゆえ、6軸のロボットは合計24個のDHパラメータを有する。すべてのDHパラメータを較正する場合、それは少なくとも24個のタッチを必要とする。一般に、第1のタッチポイントの数は、産業用ロボットの運動学パラメータの数以上である。
図2によって説明された本発明の実施形態に適用されると、産業用ロボットは、N個のエリアに動き、各エリアにおいてM個のポイント(第1のタッチングポイント)にタッチするようにプログラミングされる。
N*M個の予めプログラミングされたターゲットを用いて、最適化問題は、以下の目的関数で解くことができる。
ここで、POSrijは、iエリア,jタッチングにおけるロボットベースフレームに対するスタイラスの先端位置を示し、TCPはロボットフランジフレームに対するスタイラスの先端のツール中心点を示し、Ptijは、iエリア,jタッチングにおけるタッチパネルフレームに対するタッチングポイント位置を示す。このようなロボット較正は、TCPが最適化変数に含まれるが距離情報のみが式(3)で使用されるので、厳密なロボットのツール中心点TCP(エンドエフェクタ12等)及びタッチパネル座標系を知る必要はない。これは、スタイラスが任意のロボット上に装着されることができ、タッチパネルが任意のロボットの作業空間に配置されることができることを意味する。
較正されたタッチスクリーンは、ロボットの運動学的な較正のために追加のハードウェアを導入することなく絶対精度の較正のために再使用されることができる。これは、システムの複雑さとコストを低減しながら、産業用ロボットシステムの統合度を高めるのに役立つ。そして、空間占有も同様に低減される。
図5は、本発明の一実施形態による、反復の1つにおける産業用ロボットの使用によるタッチスクリーン較正を例示している。産業用ロボットコントローラは、エンドエフェクタのスタイラスが、例えばソフトサーボを用いてタッチスクリーン112上のポイントにタッチするまでコンプライアントな方法で動くように、プログラミングされ、産業用ロボットを制御する。スタイラスは、ロボット座標系xr、yr、zrにおいてロボットソフトウェアにおける組み込まれた数学的処理で計算される。産業用ロボットコントローラは、それがタッチスクリーン112のポイントにタッチしたときの産業用ロボット座標系xr、yr、zrにおけるエンドエフェクタのスタイラスの位置を記録することができる。タッチスクリーンコントローラは、タッチスクリーン座標系xt、yt、ztにおけるタッチスクリーン112上のタッチポイントの位置を記録することができる。プログラミングされた産業用ロボットコントローラは、次いで、産業用ロボット座標系xr、yr、zrにおけるスタイラス位置と、タッチスクリーン座標系xt、yt、ztにおけるタッチポイント位置とを用いて、タッチスクリーン112上の少なくとも別の2つのタッチについて、ステップを繰り返すように産業用ロボットを制御する。
図2にしたがって説明された本発明の実施形態に適用されると、産業用ロボットは、N個のエリアに動き、各エリアにおいてZ個のポイントにタッチするように同じ間隔でターゲットを平行移動させるようにプログラミングされる(第2のタッチングポイントであるZは、2次元多項式関数の未知の変数の数よりも少なくとも大きく、第2のタッチポイントの数はタッチスクリーンの次元数以上である)。
ここで、gは、画素から物理的な位置へのマッピング関数である。例えば、gは多項式関数であることができ、Pixelij_x、Pixelij_y、又はPixelij_zは、タッチパネルフレームに対するX、Y、Z方向におけるタッチスクリーンパネルの元の画素読取り値を示す。
N*Z個の予めプログラミングされたターゲットを用いて、各エリアにおける最適化問題は以下の目的関数で解くことができる。
ここで、POSrijは、iエリア,jタッチングにおけるロボットベースフレームに対するスタイラスの先端位置を示し、TCPはロボットフランジフレームに対するスタイラスの先端のツール中心点を示し、Ptijは、iエリア,jタッチングにおけるタッチパネルフレームに対するタッチングポイント位置を示す。
本発明は、いくつかの好ましい実施形態に基づいて説明されてきたが、当業者は、これらの実施形態が本発明の範囲を決して限定するものではないことを理解するべきである。本発明の趣旨及び概念から逸脱することなく、実施形態に対する任意の変形及び修正は、通常の知識を有する者及び当業者の理解の範囲内であり、したがって、添付の特許請求の範囲によって規定される本発明の範囲に入るべきである。

Claims (9)

  1. タッチスクリーンパネルを較正するための方法であって、ここで、前記タッチスクリーンパネルは、産業用ロボットが前記タッチスクリーンパネルのタッチスクリーンにタッチすることができるように、前記産業用ロボットの作業範囲に配置され、
    (a)位置測定のための所定の精度を有する前記タッチスクリーンの少なくとも1つのエリアを画定するステップと、
    (b)前記タッチスクリーンの前記少なくとも1つのエリア上の複数の第1のタッチポイント上の前記産業用ロボットの複数の運動学パラメータを記録するステップと、
    (c)前記タッチスクリーンの前記少なくとも1つのエリア上の前記複数の第1のタッチポイント上の複数の第1の位置値を記録するステップと、
    (d)前記運動学パラメータを使用して及び前記第1の位置値を使用して、前記産業用ロボットの運動学モデルのための第1の較正データを決定するステップと、
    (e)前記第1の較正データを使用して前記産業用ロボットの前記運動学モデルの誤差を計算的に修正するステップと、
    (f)その境界の少なくとも一部分が外方に拡張した前記少なくとも1つのエリア上の複数の第2のタッチポイント上の複数の第2の位置値を記録するステップと、
    (g)前記運動学パラメータを使用して及び前記第2の位置値を使用して、前記タッチスクリーンのための第2の較正データを決定するステップと、
    (h)前記第2の較正データを使用して前記タッチスクリーンの位置測定の誤差を計算的に修正するステップと、
    前記産業用ロボットの異なる姿勢について前記ステップ(b)乃至(h)を反復して、反復ステップが、前記産業用ロボットの前記運動学モデルの前記誤差修正の著しい改善をこれ以上もたらさなくなるまで繰り返すステップと
    を含む、方法。
  2. 前記第1タッチポイントの数は、前記産業用ロボットの前記運動学パラメータの数以上である、請求項1に記載の方法。
  3. 前記第2タッチポイントの数は、前記タッチスクリーンの次元の数以上である、請求項1又は2に記載の方法。
  4. 前記ステップ(e)において、前記少なくとも1つのエリアは、前のエリアを囲むように拡張される、請求項1乃至3のいずれか一項に記載の方法。
  5. 前記ステップ(e)において、前記第2のタッチポイントの少なくとも一部分は、前記少なくとも1つのエリアの前記拡張された部分に分布する、請求項1乃至4のいずれか一項に記載の方法。
  6. 前記反復の終了に続いて、
    前記運動学パラメータを使用して及び前記第2の位置値を使用して、前記タッチスクリーンのための第3の較正データを決定するステップと、
    前記第3の較正データを使用して残りのエリアのための前記タッチスクリーンの位置測定の誤差を計算的に修正するステップと
    をさらに含む、請求項1乃至5のいずれか一項に記載の方法。
  7. 請求項1乃至6のいずれか一項に記載の方法を実行するように構成されている産業用ロボット及びタッチスクリーンパネルを含む、前記タッチスクリーンパネルを較正するためのシステム。
  8. 請求項1乃至6のいずれか一項に記載の方法を実行するように構成されているロボットコントローラ及びロボットメモリを含む産業用ロボット。
  9. 請求項1乃至6のいずれか一項に記載の方法を実行するように構成されているタッチスクリーンパネルコントローラ及びタッチスクリーンパネルメモリを含むタッチスクリーンパネル。
JP2018555804A 2016-01-29 2016-01-29 産業用ロボットを用いてタッチスクリーンパネルを較正するための方法、及びこれを使用したシステム、産業用ロボット、並びにタッチスクリーン Active JP6619106B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/072713 WO2017128284A1 (en) 2016-01-29 2016-01-29 Method for calibrating touchscreen panel with industrial robot and system, industrial robot and touchscreen using the same

Publications (2)

Publication Number Publication Date
JP2019505938A true JP2019505938A (ja) 2019-02-28
JP6619106B2 JP6619106B2 (ja) 2019-12-11

Family

ID=59397258

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018555804A Active JP6619106B2 (ja) 2016-01-29 2016-01-29 産業用ロボットを用いてタッチスクリーンパネルを較正するための方法、及びこれを使用したシステム、産業用ロボット、並びにタッチスクリーン

Country Status (5)

Country Link
US (1) US10606410B2 (ja)
EP (1) EP3408729B1 (ja)
JP (1) JP6619106B2 (ja)
CN (1) CN108496145B (ja)
WO (1) WO2017128284A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111015667B (zh) * 2019-12-27 2021-09-28 达闼机器人有限公司 机械臂控制方法、机器人及计算机可读存储介质
CN111360826B (zh) * 2020-02-29 2023-01-06 华南理工大学 一种可实时显示抓取位姿的***

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60218108A (ja) 1984-04-13 1985-10-31 Nec Corp ロボツト機械誤差補正システム
US4698572A (en) * 1986-04-04 1987-10-06 Westinghouse Electric Corp. Kinematic parameter identification for robotic manipulators
US4853498A (en) 1988-06-13 1989-08-01 Tektronix, Inc. Position measurement apparatus for capacitive touch panel system
JP4493200B2 (ja) 2000-11-06 2010-06-30 富士通テン株式会社 タッチパネル搭載機器調整装置およびタッチパネル搭載機器調整方法
SE0400320D0 (sv) * 2004-02-06 2004-02-06 Abb Ab Control method for robots
JP2005271103A (ja) 2004-03-23 2005-10-06 Tookin:Kk 作業用ロボット及びそのキャリブレーション方法
WO2006086021A2 (en) * 2004-10-25 2006-08-17 University Of Dayton Method and system to provide improved accuracies in multi-jointed robots through kinematic robot model parameters determination
JP4267005B2 (ja) * 2006-07-03 2009-05-27 ファナック株式会社 計測装置及びキャリブレーション方法
US20080100586A1 (en) * 2006-10-26 2008-05-01 Deere & Company Method and system for calibrating a touch screen
CN101354621A (zh) * 2008-09-12 2009-01-28 青岛海信移动通信技术股份有限公司 一种触摸屏校准参数的确定方法及其装置
JP4763074B2 (ja) * 2009-08-03 2011-08-31 ファナック株式会社 ロボットのツール先端点の位置の計測装置および計測方法
US8996166B2 (en) * 2010-12-09 2015-03-31 T-Mobile Usa, Inc. Touch screen testing platform
US9652077B2 (en) * 2010-12-09 2017-05-16 T-Mobile Usa, Inc. Touch screen testing platform having components for providing conductivity to a tip
CN201917885U (zh) * 2010-12-22 2011-08-03 昆达电脑科技(昆山)有限公司 触摸屏坐标校准装置
CN102193682A (zh) * 2011-05-30 2011-09-21 苏州瀚瑞微电子有限公司 在gui下自动校准触摸屏的方法
JP5752001B2 (ja) 2011-09-27 2015-07-22 グンゼ株式会社 タッチパネル検査装置
DE102012103032B3 (de) * 2012-04-05 2013-07-04 Reis Group Holding Gmbh & Co. Kg Verfahren zur Bedienung eines Industrieroboters
US20130278539A1 (en) * 2012-04-20 2013-10-24 Motorola Mobility, Inc. Method and System for Performance Testing Touch-Sensitive Devices
JP2014052696A (ja) * 2012-09-05 2014-03-20 Sharp Corp タッチパネルシステム、テスト装置及びタッチパネルシステムの較正方法
CN103034367A (zh) * 2012-12-27 2013-04-10 杭州士兰微电子股份有限公司 触摸屏的校准方法
CN103235661B (zh) * 2013-04-13 2016-03-16 北京汇冠新技术股份有限公司 一种定位点击装置和方法及触摸显示屏校准***和方法
CN103472953B (zh) * 2013-09-25 2017-01-25 成都吉锐时代触摸技术有限公司 一种触摸显示屏的校准方法
CN103793112B (zh) * 2014-03-10 2018-06-19 天津津航技术物理研究所 一种触摸屏的校准方法及***
EP3277468A4 (en) 2015-04-02 2019-10-16 ABB Schweiz AG METHOD FOR COMMISSIONING AN INDUSTRIAL ROBOT, INDUSTRIAL ROBOT SYSTEM AND CONTROL SYSTEM USING THE SAME

Also Published As

Publication number Publication date
EP3408729A4 (en) 2019-08-14
EP3408729A1 (en) 2018-12-05
EP3408729B1 (en) 2021-11-17
US10606410B2 (en) 2020-03-31
WO2017128284A1 (en) 2017-08-03
CN108496145A (zh) 2018-09-04
CN108496145B (zh) 2020-11-24
JP6619106B2 (ja) 2019-12-11
US20180364866A1 (en) 2018-12-20

Similar Documents

Publication Publication Date Title
CN107428009B (zh) 用于工业机器人调试的方法、使用该方法的工业机器人***和控制***
KR102276259B1 (ko) 비전-기반 조작 시스템들의 교정 및 동작
JP5738707B2 (ja) タッチパネル
US11079873B2 (en) Touch panel device
JP2018136896A (ja) 情報処理装置、システム、情報処理方法、および物品の製造方法
JP2014153936A (ja) タッチ位置検出装置およびタッチ位置検出方法
JP6619106B2 (ja) 産業用ロボットを用いてタッチスクリーンパネルを較正するための方法、及びこれを使用したシステム、産業用ロボット、並びにタッチスクリーン
JP2017075891A (ja) 計測装置、計測方法および物品の製造方法
EP3804916A1 (en) Image processing apparatus, control method therefor, and control program therefor
JP7423387B2 (ja) 較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置
US11823414B2 (en) Information processing device, information processing method, and information processing non-transitory computer readable medium
TWI608400B (zh) 觸控偵測方法
TWI731879B (zh) 使用移動模型之位置量測至物件之映射
US11931885B2 (en) Touch sensing method and serial manipulator using the same
JP7450195B2 (ja) 位置分析装置及び方法、並びにカメラシステム
JP7401250B2 (ja) 画像処理装置、制御方法およびプログラム
WO2020150984A1 (zh) 接触面积的计算方法、装置、触控芯片、电子设备
TWI608384B (zh) 觸控筆觸碰位置偵測方法及系統
JP2022025588A (ja) 溶接装置の検査装置および該方法
CN117754592A (zh) 一种基于视觉的机械臂标定方法、装置、设备和介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180718

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191113

R150 Certificate of patent or registration of utility model

Ref document number: 6619106

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250