JP2021010994A - Sensor position attitude calibration apparatus and sensor position attitude calibration method - Google Patents
Sensor position attitude calibration apparatus and sensor position attitude calibration method Download PDFInfo
- Publication number
- JP2021010994A JP2021010994A JP2019127572A JP2019127572A JP2021010994A JP 2021010994 A JP2021010994 A JP 2021010994A JP 2019127572 A JP2019127572 A JP 2019127572A JP 2019127572 A JP2019127572 A JP 2019127572A JP 2021010994 A JP2021010994 A JP 2021010994A
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- posture
- information
- sensor data
- moving body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Manipulator (AREA)
Abstract
Description
本発明は、センサ位置姿勢キャリブレーション装置及びセンサ位置姿勢キャリブレーション方法に関する。 The present invention relates to a sensor position / orientation calibration device and a sensor position / orientation calibration method.
近年、労働人口の減少によって、人作業の代替や自動化へのニーズが高まっている。これらのニーズに適合する機器として、ロボットなどの移動体と、それらの移動体に取り付けられたセンサ(例えば、カメラ)を組み合わせて様々なタスクに取り組む機器がある。ロボットを例にとると、物流倉庫にてピッキング作業を自動化する産業用ロボットアームが挙げられる。 In recent years, due to the decrease in the working population, there is an increasing need for alternatives and automation of human work. As a device that meets these needs, there is a device that works on various tasks by combining a moving body such as a robot and a sensor (for example, a camera) attached to the moving body. Taking a robot as an example, there is an industrial robot arm that automates picking work in a distribution warehouse.
産業用ロボットアームでは、ロボットに取り付けられたセンサによってピッキング対象物の位置を認識し、認識した位置にロボットアームを移動させることで、ピッキング作業を実現している。このとき、ピッキング対象物の位置は、カメラで認識したカメラ座標系上の位置と、ロボットアームの移動先であるロボットアーム座標系上の位置との２つの表現が混在している。 In an industrial robot arm, a picking operation is realized by recognizing the position of a picking object by a sensor attached to the robot and moving the robot arm to the recognized position. At this time, the position of the picking object is a mixture of two expressions, that is, the position on the camera coordinate system recognized by the camera and the position on the robot arm coordinate system to which the robot arm is moved.
ロボットアームが正しくピッキング作業を実現するには、カメラ座標系とロボットアーム座標系の相対位置姿勢を表す変換パラメータ（以下、相対位置姿勢パラメータと称する）を用いて、双方の座標系における表現の位置に変換する必要がある。移動体とセンサの相対位置を推定する技術は、様々な分野で活用されている。例えば先に例を記載した、産業分野で活用されるピッキング用ロボットや、自動運転・運転者支援を目的にセンサを搭載した自動車などが挙げられる。 In order for the robot arm to correctly perform picking work, the position of the expression in both coordinate systems is used by using a conversion parameter (hereinafter referred to as the relative position / orientation parameter) that represents the relative position / orientation of the camera coordinate system and the robot arm coordinate system. Need to be converted to. Technology for estimating the relative position of a moving object and a sensor is used in various fields. For example, the picking robots used in the industrial field and the automobiles equipped with sensors for the purpose of autonomous driving and driver support, which are described above, can be mentioned.
相対位置を推定する一般的な手法としては、例えば、ロボットとセンサの設定データから算出する手法がある。あるいは、予め形状やアピアランス情報が既知な撮影対象物（例えばチェッカーパターンを印刷した板）を、ロボットアームに取り付けられたカメラで様々な姿勢で撮影し、撮影された複数の画像と、ロボットアームのモータの指令値などにより計算されたロボットの位置、姿勢から推定する方法がある。これらの相対位置を推定する手法をキャリブレーションと総称する。 As a general method for estimating the relative position, for example, there is a method for calculating from the setting data of the robot and the sensor. Alternatively, a shooting object whose shape and appearance information is known in advance (for example, a board on which a checker pattern is printed) is shot in various postures with a camera attached to the robot arm, and a plurality of shot images and the robot arm There is a method of estimating from the position and orientation of the robot calculated from the command value of the motor. The method of estimating these relative positions is collectively called calibration.
従来のキャリブレーションでは、移動体の形状の歪みやたわみなどの影響により、移動体の位置、姿勢の算出精度が悪い場合には、キャリブレーションに失敗、もしくは相対位置姿勢パラメータの推定精度の低下を招くことがある。これらの精度低下を招く要因は検出することが困難なため、対策に多くの時間を要するという問題がある。
そこで、移動体の位置精度の低下に伴うキャリブレーション結果の精度低下を検知、修正する技術が求められる。
In the conventional calibration, if the calculation accuracy of the position and posture of the moving body is poor due to the influence of distortion or deflection of the shape of the moving body, the calibration fails or the estimation accuracy of the relative position / posture parameter is lowered. May be invited. Since it is difficult to detect these factors that cause a decrease in accuracy, there is a problem that it takes a lot of time to take countermeasures.
Therefore, there is a need for a technique for detecting and correcting a decrease in the accuracy of the calibration result due to a decrease in the position accuracy of the moving body.
特許文献１には、移動先である目標物の位置を検出するセンサと、ロボットアームの手先部の位置を検出するセンサを用いて、手先部と目標物との誤差を計測することで目標物へ手先部を移動させる技術が記載されている。
特許文献１に記載の技術では、ロボットアームと目標物の位置を検出するセンサを新たに導入する必要があり、構成が複雑化するという問題がある。また、特許文献１に記載の技術では、手先部と目標物の位置の誤差を計測しながら、ロボットの位置をフィードバック方式による制御で移動させるようにしているが、ロボットアームの位置、姿勢の設定精度が一様ではなく、動的に変化する場合に対応できないという問題がある。
このように、従来のキャリブレーションでは、キャリブレーション結果の精度が適切でない場合が多々あるが、精度の低下を検出することは困難であった。
In the technique described in
As described above, in the conventional calibration, the accuracy of the calibration result is often not appropriate, but it is difficult to detect the decrease in accuracy.
本発明は、移動体の位置、姿勢の決定精度の低下を検出可能なセンサ位置姿勢キャリブレーション装置及びセンサ位置姿勢キャリブレーション方法を提供することを目的とする。 An object of the present invention is to provide a sensor position / orientation calibration device and a sensor position / orientation calibration method capable of detecting a decrease in accuracy in determining the position and orientation of a moving body.
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は、上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、センサの任意の点に設定された座標系を、移動体の座標系に変換するセンサ位置姿勢キャリブレーション装置であって、移動体とセンサの相対位置姿勢を取得する相対位置姿勢パラメータ取得部と、移動体の形状情報を取得する形状情報取得部と、パラメータ取得部と形状取得部が取得する情報に基づいて、センサで取得するデータを仮想的に再現した仮想センサデータを生成する仮想センサデータ生成部と、センサによって取得されたセンサデータを出力するセンシング部と、仮想センサデータとセンサデータを比較して差異の有無を判定するマッチング部と、を備える。
In order to solve the above problems, for example, the configuration described in the claims is adopted.
The present application includes a plurality of means for solving the above problems, and to give an example thereof, a sensor position / orientation calibration device that converts a coordinate system set at an arbitrary point of a sensor into a moving body coordinate system. Based on the relative position / orientation parameter acquisition unit that acquires the relative position / orientation of the moving body and the sensor, the shape information acquisition unit that acquires the shape information of the moving body, and the information acquired by the parameter acquisition unit and the shape acquisition unit. Then, the virtual sensor data generator that generates virtual sensor data that virtually reproduces the data acquired by the sensor, the sensing unit that outputs the sensor data acquired by the sensor, and the virtual sensor data and the sensor data are compared. A matching unit for determining the presence or absence of a difference is provided.
本発明によれば、移動体の位置、姿勢の決定精度の低下を検出することが可能になる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
According to the present invention, it is possible to detect a decrease in the accuracy of determining the position and posture of a moving body.
Issues, configurations and effects other than those described above will be clarified by the following description of the embodiments.
＜１．第１の実施の形態例＞
以下、本発明の第１の実施の形態例を、図１〜図１１を参照して説明する。
［１−１．ロボットアームの構成］
まず、図１を参照して、本発明の第１の実施の形態例によるセンサ位置姿勢キャリブレーション装置１の適用例であるロボットアーム１００の構成について説明する。本実施の形態例ではロボットアームに適用した例を説明するが、本実施の形態例のセンサ位置姿勢キャリブレーション装置１は、双腕ロボットや自動車など、位置姿勢情報を取得可能な移動体であれば、様々なものに適用が可能である。
<1. Example of the first embodiment>
Hereinafter, examples of the first embodiment of the present invention will be described with reference to FIGS. 1 to 11.
[1-1. Robot arm configuration]
First, with reference to FIG. 1, the configuration of the
ロボットアーム１００は、ベース１１１、ジョイント１１２ａ，１１２ｂ，１１２ｃ、リンク１１３ａ，１１３ｂ、アーム１１４、及びハンド１１５を備える。
ベース１１１には、ジョイント１１２ａを介してリンク１１３ａの一端が接続され、リンク１１３ａの他端には、ジョイント１１２ｂを介してリンク１１３ｂの一端が接続される。また、リンク１１３ｂの他端には、ジョイント１１２ｃを介してアーム１１４の一端が接続され、アーム１１４の先端にはハンド１１５が取り付けられる。各ジョイント１１２ａ，１１２ｂ，１１２ｃは、接続されたリンク１１３ａ，１１３ｂまたはアーム１１４の角度を自在に調整でき、先端のハンド１１５が可動範囲内の任意の位置に移動できる。
ハンド１１５は、エンドエフェクタと称され、物体を挟み込む機構を有する。但し、ハンド１１５として、図１に示すような物体を挟み込む機構とするのは一例であり、例えば吸盤状の部品を用いて空気圧によりものを吸着する機構でもよい。あるいは、ロボットアーム１００として、エンドエフェクタを備えないものでもよい。
The
One end of the
The
ここで、アーム１１４には、画像を取得するセンサであるカメラ２２が取り付けられ、カメラ２２がハンド１１５の近傍を撮像して、センサ出力としてのカメラ画像を出力する。図１では、アーム１１４上のカメラ２２とハンド１１５の周辺の範囲Ａ１を、拡大範囲Ａ２として詳細に示す。
図１の拡大範囲Ａ２に示すように、ハンド１１５は、点１１５ａを原点（ハンド座標系原点）としたハンド座標系１１５ｂを持つ。ハンド座標系１１５ｂは、ｘ軸、ｙ軸、ｚ軸の３軸で示される。ロボットアーム１００のハンド１１５が物体を掴む等の動作は、このハンド座標系１１５ｂを基準にして行われる。
Here, a
As shown in the enlarged range A2 of FIG. 1, the
一方、カメラ２２は、点２２ａを原点（カメラ座標系原点）としたカメラ座標系（センサ座標系）２２ｂを持つ。カメラ座標系２２ｂも、ｘ軸、ｙ軸、ｚ軸の３軸で示される。カメラ座標系２２ｂのｚ軸は、カメラ２２に装着されたレンズの光軸と一致させてある。
なお、図１ではハンド座標原点１１５ａは、ハンド１１５の頂点に設定されているが、ロボットアーム１００の移動に連動して動く点をハンド座標原点１１５ａにとれば、ハンド座標系１１５ｂは任意に設定することができる。また、カメラ座標原点２２ａも、図１ではカメラ２２の光学中心に設定した例を示しているが、カメラ２２との相対位置姿勢が不変な点であれば、カメラ座標原点２２ａは任意に設定可能である。
On the other hand, the
In FIG. 1, the hand coordinate
カメラ座標系２２ｂは、相対位置姿勢パラメータ情報２ａによって、ハンド座標系１１５ｂに変換することができる。本実施の形態例のセンサ位置姿勢キャリブレーション装置１は、この相対位置姿勢パラメータ情報２ａを持つ。
The camera coordinate
［１−２．センサ位置姿勢キャリブレーション装置の構成］
図２は、本発明の第１の実施の形態例のセンサ位置姿勢キャリブレーション装置１の構成例を示す。
センサ位置姿勢キャリブレーション装置１は、センサにより取得されるデータを仮想的に生成し、それを実際にセンサから取得されるデータと比較することで移動体の位置、姿勢の決定精度の低下を検出するものである。本実施の形態例では、後述する図３に示すロボットアーム１００を移動体とし、そのロボットアーム１００に取り付けたカメラ２２をセンサとしている。
[1-2. Configuration of sensor position / orientation calibration device]
FIG. 2 shows a configuration example of the sensor position /
The sensor position /
センサ位置姿勢キャリブレーション装置１は、相対位置姿勢パラメータ取得部２、形状情報取得部３、仮想センサデータ生成部４、センシング部５、及びマッチング部６を備える。
相対位置姿勢パラメータ取得部２は、ロボットアーム１００の位置、姿勢を表現可能なハンド座標系１１５ｂと、カメラ２２の位置、姿勢を表現可能なカメラ座標系２２ｂの取得処理を行う（相対位置姿勢パラメータ取得処理）。この相対位置姿勢パラメータ取得処理で得られるパラメータが、図１に示す相対位置姿勢パラメータ情報２ａである。
The sensor position /
The relative position / posture
形状情報取得部３は、３次元センサやカメラなどで計測した移動体の形状情報、アピアランス情報やＣＡＤ(Computer Aided Design)などの一般的な３次元モデル生成ツールで作成した移動体の形状情報を取得する（形状情報取得処理）。
仮想センサデータ生成部４は、ロボットアーム１００とカメラ２２の相対位置姿勢パラメータ情報２ａと、ロボットアーム１００の形状情報を受け取り、ロボットアーム１００の位置姿勢情報を用いて、カメラ２２の撮影画像を、ハンド座標系１１５ｂの画像に変換する。仮想センサデータ生成部４は、変換されたハンド座標系１１５ｂの画像を、仮想センサデータとして出力する（仮想センサデータ生成処理）。仮想センサデータ生成部４がカメラ２２の撮影画像からハンド座標系１１５ｂの画像を生成する際には、例えば一般的な透視投影手法が利用される。
The shape
The virtual sensor
センシング部５は、ロボットアーム１００に取り付けられたカメラ２２から、センサ出力である撮影画像を取得する（センシング処理）。
マッチング部６は、仮想センサデータ生成部４が生成する仮想センサデータと、センシング部５が出力する撮影画像を受け取り、両データの差異を評価する。
図２に示すセンサ位置姿勢キャリブレーション装置１は、コンピュータにより構成することができる。
The
The
The sensor position /
図３は、センサ位置姿勢キャリブレーション装置１をコンピュータで構成した場合のハードウェア構成例を示す。
図３に示すコンピュータ１０は、バスにそれぞれ接続されたＣＰＵ（Central Processing Unit：中央処理装置）１１、ＲＯＭ（Read Only Memory）１２、及びＲＡＭ（Random Access Memory）１３を備える。さらに、コンピュータ１０は、不揮発性ストレージ１４、ネットワークインタフェース１５、入力装置１６、表示装置１７、ロボットインタフェース１８、及び画像インタフェース１９を備える。
FIG. 3 shows an example of hardware configuration when the sensor position /
The computer 10 shown in FIG. 3 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, and a RAM (Random Access Memory) 13 connected to the bus, respectively. Further, the computer 10 includes a
ＣＰＵ１１は、センサ位置姿勢キャリブレーション装置１の処理を実行するソフトウェアのプログラムコードをＲＯＭ１２から読み出して実行する演算処理部である。
ＲＡＭ１３には、演算処理の途中に発生した変数やパラメータ等が一時的に書き込まれる。
The CPU 11 is an arithmetic processing unit that reads out the program code of the software that executes the processing of the sensor position /
Variables, parameters and the like generated during the arithmetic processing are temporarily written in the
不揮発性ストレージ１４には、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの大容量情報記憶媒体が用いられる。不揮発性ストレージ１４には、センサ位置姿勢キャリブレーション装置１が実行する機能についてのプログラムが記録される。
For the
ネットワークインタフェース１５には、例えば、ＮＩＣ（Network Interface Card）などが用いられる。ネットワークインタフェース１５は、無線ＬＡＮ（Local Area Network）などを介して外部と各種情報の送受信を行う。
For the
入力装置１６には、例えば、キーボード、マウスなどが用いられる。
表示装置１７は、例えば、液晶ディスプレイモニタであり、この表示装置１７によりコンピュータ１０で実行される結果、つまりセンサ位置姿勢キャリブレーション装置１でのキャリブレーション結果が表示される。
For the
The display device 17 is, for example, a liquid crystal display monitor, and the result executed by the computer 10 by the display device 17, that is, the calibration result by the sensor position /
ロボットインタフェース１８は、ロボットアーム１００の制御装置（ロボットアーム制御装置２１）から、ロボットアーム１００の姿勢のデータを取得する。画像インタフェース１９は、カメラ２２が撮影した画像データを取得する。
The
なお、センサ位置姿勢キャリブレーション装置１を図３に示すコンピュータ１０で構成するのは一例であり、コンピュータ以外のその他の演算処理装置で構成してもよい。例えば、センサ位置姿勢キャリブレーション装置１が行う機能の一部または全部を、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）などのハードウェアによって実現してもよい。
The sensor position /
［１−３．相対位置姿勢パラメータ］
次に、再び図１を参照して、相対位置姿勢パラメータ取得部２が取得する相対位置姿勢パラメータ情報２ａについて説明する。
図１に示すロボットアーム１００のジョイント１１２ａ，１１２ｂ，１１２ｃは、サーボモータなどのアクチュエータを備える。ロボットアーム１００のジョイント１１２ａ，１１２ｂ，１１２ｃの制御値は、各ジョイント１１２ａ，１１２ｂ，１１２ｃの回転角度などを表す。但し、制御値として回転角度を使用するのは一例であり、ジョイント１１２ａ，１１２ｂ，１１２ｃの状態を表現可能なものであれば、他の形式の値を制御値としてもよい。
ロボットアーム１００の姿勢は、全てのジョイント１１２ａ，１１２ｂ，１１２ｃのアクチュエータの制御値の組み合わせによって決定される。
[1-3. Relative Position Posture Parameter]
Next, the relative position /
The
The posture of the
相対位置姿勢パラメータ情報２ａは、ハンド座標系１１５ｂとカメラ座標系２２ｂの相対的な位置姿勢を表すパラメータである。相対位置姿勢パラメータ情報２ａの表現方法は一般的なアフィン変換や、各軸の回転角を表現するオイラー角、回転軸とその回転軸を中心とした回転角で表現されるクォータニオンなどであり、座標系の位置、姿勢を表現可能なものであればよい。
また、相対位置姿勢パラメータ情報２ａは、例えばハンド座標系１１５ｂからカメラ座標系２２ｂへの変換の方向を決定するパラメータ情報であるが、変換の方向は任意であり、逆にカメラ座標系２２ｂからハンド座標系１１５ｂへの方向でもよい。
The relative position /
Further, the relative position /
図４は、形状情報取得部３が取得する形状情報３ａを説明する図である。
図４の例では、形状情報３ａとして、４つの筐体構成要素３ａ−１〜３ａ−４が登録されている。すなわち、ベース１１１で構成された筐体構成要素３ａ−１と、リンク１１３ａとジョイント１１２ａで構成された筐体構成要素３ａ−２と、リンク１１３ｂとジョイント１１２ｂで構成された筐体構成要素３ａ−３と、リンク１１３ｃとアーム１１４とハンド１１５で構成された筐体構成要素３ａ−４とを備える。これらの筐体構成要素３ａ−１〜３ａ−４の組み合わせにより、ロボットアーム１００全体の姿勢を表現することができる。
FIG. 4 is a diagram for explaining the
In the example of FIG. 4, four
本実施の形態例では、形状情報３ａは、ロボットアーム１００の３次元モデルであるが、形状情報３ａは、ロボットアーム１００の形状を表現可能な情報を含んでいればよい。また、形状情報３ａは、ロボットアーム１００についての色情報やテクスチャ情報を含んでもよい。
形状情報３ａは、レーザセンサやステレオカメラなど、一般的な３次元センサ及び計測手法を用いて計測した３次元モデルや、ＣＡＤなどの一般的な３次元モデル作成ツール、ＵＲＤＦ(Unified Robot Description Format)などの記述フォーマットで作成したロボットアーム１００の形状を表す３次元モデルである。
In the embodiment of the present embodiment, the
The
［１−４．仮想センサデータ生成部の処理］
図５は、仮想センサデータ生成部４を示す。
仮想センサデータ生成部４は、ロボットアーム１００とそれに取り付けられたカメラ２２を仮想的に再現し、カメラ２２から得られる撮影画像を生成する機能を持っている。
仮想センサデータ生成部４は、移動体姿勢形状シミュレート部４ａを備える。移動体姿勢形状シミュレート部４ａは、形状情報取得部３が取得する形状情報３ａと、ロボットアーム１００の姿勢情報４ｂを入力として、姿勢情報４ｂが示す姿勢を仮想的に再現した移動体姿勢形状情報４ｃを出力する。
[1-4. Processing of virtual sensor data generator]
FIG. 5 shows a virtual sensor
The virtual sensor
The virtual sensor
また、仮想センサデータ生成部４は、センサ視点生成部４ｄを備える。センサ視点生成部４ｄは、相対位置姿勢パラメータ情報２ａを入力として、移動体姿勢形状情報４ｃを回転、平行移動することで、仮想的に取り付けられたカメラ２２の視点から観測したものに変換し、センサ視点形状情報４ｅを生成する。
さらに、仮想センサデータ生成部４は、生成部４ｇを備える。生成部４ｇは、センサパラメータ情報４ｆを入力として、センサ視点形状情報４ｅをカメラ２２の画像面に投影することによって、仮想的に配置された画像を生成する。
Further, the virtual sensor
Further, the virtual sensor
以下、移動体姿勢形状シミュレート部４ａ、センサ視点生成部４ｄ、及び生成部４ｇについてさらに詳細に説明する。
移動体姿勢形状シミュレート部４ａに供給される姿勢情報４ｂは、ロボットアーム１００の姿勢を決定するためのパラメータであって、ロボットアーム１００のそれぞれの筐体構成要素３ａ−１〜３ａ−４の任意の座標系における三次元位置座標である。
あるいは、姿勢情報４ｂは、ロボットアーム１００のジョイント１１２ａ〜１１２ｃが備えるアクチュエータの制御値でもよい。以下の説明では、姿勢情報４ｂで示される三次元位置座標を示す任意の座標系を、ロボット座標系と称する。このロボット座標系は、例えば図７に示すロボット座標系１００ａに相当する。
Hereinafter, the moving body posture
The
Alternatively, the
［１−５．移動体姿勢形状シミュレート部の処理］
図６は、移動体姿勢形状シミュレート部４ａの処理を示すフローチャートである。
まず、移動体姿勢形状シミュレート部４ａは、任意の空間にロボット座標系を設定し（ステップＳ１１）、形状情報３ａを受け付ける（ステップＳ１２）と共に、姿勢情報４ｂを受け付ける（ステップＳ１３）。
[1-5. Processing of moving body posture shape simulation part]
FIG. 6 is a flowchart showing the processing of the moving body posture
First, the moving body posture
そして、移動体姿勢形状シミュレート部４ａは、形状情報３ａに含まれる筐体構成要素を、姿勢情報４ｂが示すロボット座標系に配置する（ステップＳ１４）。その後、移動体姿勢形状シミュレート部４ａは、形状情報３ａが含む筐体構成要素をすべて、もしくは形状情報３ａのうち予め設定した必要な筐体構成要素を配置し終えたか否かを確認する（ステップＳ１５）。このステップＳ１５で、未配置の筐体構成要素があると判断された場合には（ステップＳ１５のｎｏ）、移動体姿勢形状シミュレート部４ａは、ステップＳ１４の処理に戻る。そして、ステップＳ１５で、全ての筐体構成要素を配置し終えたと判断した場合には（ステップＳ１５のｙｅｓ）、移動体姿勢形状シミュレート部４ａは、移動体姿勢形状情報４ｃを得る。
Then, the moving body posture
次に、ステップＳ１４で行われる、筐体構成要素を姿勢情報４ｂが示すロボット座標系に配置する処理の詳細を、図４及び図７を用いて説明する。
ステップＳ１４では、移動体姿勢形状シミュレート部４ａは、形状情報３ａに登録されている筐体構成要素をロボット座標系に配置する。筐体構成要素を配置する場所は姿勢情報４ｂを参照して得る。図４の例では、形状情報３ａとして筐体構成要素３ａ−１〜３ａ−４の４つが登録されており、これらの組み合わせによってロボットアーム１００の姿勢が表現可能となる。筐体構成要素３ａ−１〜３ａ−４の構成数、及び構成の内容はロボットアーム１００の形状を表現可能なものであればよく、必ずしも図４の例に限定されるものではない。
Next, the details of the process of arranging the housing components in the robot coordinate system indicated by the
In step S14, the moving body posture
図７（ａ）は、筐体構成要素３ａ−１〜３ａ−４の内の筐体構成要素３ａ−２の位置、姿勢を変更して得られる移動体姿勢形状情報４ｃを示している。
図７（ａ）は、筐体構成要素３ａ−１〜３ａ−４の内の筐体構成要素３ａ−３と３ａ−４の位置、姿勢を変更して得られる移動体姿勢形状情報４ｃを示している。
FIG. 7A shows the moving body
FIG. 7A shows the moving body
図７の例では、姿勢情報４ｂは筐体構成要素３ａ−１〜３ａ−４のうち、可動部である３つのジョイント１１２ａ〜１１２ｃの回転角度θ１、θ２、θ３が設定されている。そして、ステップＳ１４では、例えばアクチュエータの初期値が示す姿勢から各ジョイント１１２ａ〜１１２ｃを姿勢情報４ｂに従って回転、移動することで、移動体姿勢形状シミュレート部４ａは移動体姿勢形状情報４ｃを生成する。
In the example of FIG. 7, the
この姿勢情報４ｂは、ロボットアーム１００のジョイント１１２ａ〜１１２ｃが備えるアクチュエータの制御値でもよいが、その場合には、移動体姿勢形状シミュレート部４ａは、各アクチュエータの制御地を変位量（例えば、回転角度）に変換するシミュレータを備える。そして、移動体姿勢形状シミュレート部４ａは、このシミュレータを用いて移動体姿勢形状情報４ｃを作成してもよい。
あるいは、姿勢情報４ｂは、筐体構成要素３ａ−１〜３ａ−４のロボット座標系における位置、姿勢を直接表現する情報として登録されていてもよい。
The
Alternatively, the
相対位置姿勢パラメータ情報２ａと移動体姿勢形状情報４ｃが入力されるセンサ視点生成部４ｄは、観測した移動体姿勢形状情報４ｃがもつ３次元モデルを視点変換する。そして、カメラ座標系２２ｂの視点から観測したものに変換してセンサ視点形状情報４ｅを出力する。
The sensor
［１−６．センサ視点生成部の処理］
図８は、センサ視点生成部４ｄの処理を示すフローチャートである。
まず、センサ視点生成部４ｄは、移動体姿勢形状情報４ｃを受付ける（ステップＳ２１）と共に、相対位置姿勢パラメータ情報２ａを受付ける（ステップＳ２２）。そして、センサ視点生成部４ｄは、移動体姿勢形状情報４ｃにハンド座標系１１５ｂを設定する（ステップＳ２３）。
[1-6. Processing of sensor viewpoint generator]
FIG. 8 is a flowchart showing the processing of the sensor
First, the sensor
その後、センサ視点生成部４ｄは、ハンド座標系１１５ｂからの相対位置として表現される相対位置姿勢パラメータ情報２ａを用いて、カメラ座標系２２ｂを設定する（ステップＳ２４）。
そして、センサ視点生成部４ｄは、移動体姿勢形状情報４ｃを回転、平行移動して始点をカメラ座標原点２２ａと一致させ、センサ視点形状情報４ｅを取得する（ステップＳ２５）。
After that, the sensor
Then, the sensor
次に、図８のフローチャートのステップＳ２３、Ｓ２４、Ｓ２５での処理を詳しく説明する。
ステップＳ２３では、ハンド座標原点１１５ａ及びハンド座標系１１５ｂを、移動体姿勢形状情報４ｃ上に設定する。ロボットアーム１００の移動と連動して動く点をハンド座標原点１１５ａとしたハンド座標系１１５ｂは、ロボット座標系１００ａにおいてはロボットアーム１００の姿勢によって位置が変動するものの、エンドエフェクタとの相対位置姿勢は不変であるため、移動体姿勢形状情報４ｃ上に一意に設定することができる。
Next, the processes in steps S23, S24, and S25 of the flowchart of FIG. 8 will be described in detail.
In step S23, the hand coordinate
ステップＳ２４では、移動体姿勢形状情報４ｃ上にカメラ座標原点２２ａ及びカメラ座標系２２ｂを設定する。
相対位置姿勢パラメータ情報２ａは、ハンド座標系１１５ｂとカメラ座標系２２ｂの相対的な位置、姿勢を表すパラメータである。この相対位置姿勢パラメータ情報２ａは、予め設定されたハンド座標系１１５ｂからの幾何的な位置姿勢は一意に求まるため、カメラ座標原点２２ａ及びカメラ座標系２２ｂを設定することができる。
In step S24, the camera coordinate
The relative position /
相対位置姿勢パラメータが表すハンド座標系１１５ｂとカメラ座標系２２ｂの相対位置関係の表現の方向は、ハンド座標系１１５ｂからカメラ座標系２２ｂの方向と、カメラ座標系２２ｂからハンド座標系１１５ｂの方向の２通りが考えられる。いずれの方向であっても、カメラ座標原点２２ａ及びカメラ座標系２２ｂの位置、姿勢は同様であり一意に求まるため、相対位置姿勢パラメータ情報２ａの表現の方向はいずれであってもよい。
The directions of expressing the relative positional relationship between the hand coordinate
図９は、ステップＳ２５での処理を説明するための図である。
ステップＳ２５では、移動体姿勢形状情報４ｃにカメラ座標系２２ｂが設定されている。移動体姿勢形状情報４ｃは３次元モデルであるため、回転と平行移動の組み合わせによって、移動体姿勢形状情報４ｃを任意の視点から観測したモデルに容易に変換することができ、センサ視点形状情報を得ることができる。
FIG. 9 is a diagram for explaining the process in step S25.
In step S25, the camera coordinate
図９は、図８のステップＳ２４の右側に示す例のように設定されたカメラ座標系２２ｂに視点を移動して得られるセンサ視点形状情報の例を示している。図８に示す例では、筐体構成要素３ａ−４はロボット座標系１００ａの原点方向を向く姿勢をとっており、カメラ座標系２２ｂは筐体構成要素３ａ−４の上部に、筐体構成要素３ａ−４と同様の方向を向く姿勢で設定されている。
FIG. 9 shows an example of sensor viewpoint shape information obtained by moving the viewpoint to the camera coordinate
このとき、カメラ座標原点２２ａの位置でカメラ座標系２２ｂが示す方向に視点変換することで得られるセンサ視点形状情報４ｅは、図９に示すように、筐体構成要素３ａ−１の上面と筐体構成要素３ａ−２の一部が観測される視点となる。図９に示す例ではカメラ座標系２２ｂの軸について、ロボット座標系１００ａの原点の方向に向いている軸をＺ軸として、Ｚ軸が遠方方向となるようにセンサ視点形状情報４ｅを作成している。
但し、この図９に示すセンサ視点形状情報４ｅは一例であり、視点変換する際の方向は実際に取り付けられるカメラ２２と同様であればよい。例えば一般的な光学カメラの場合、視点の方向は光軸方向となる。
At this time, as shown in FIG. 9, the sensor viewpoint shape
However, the sensor viewpoint shape
［１−７．生成部が仮想センサデータを生成する処理］
図５に示す生成部４ｇは、センサ視点形状情報４ｅとセンサパラメータ情報４ｆを入力として、カメラ２２が取得する画像を、仮想センサデータ４ｈとして生成する。仮想センサデータ４ｈは、ロボットアーム１００が姿勢情報４ｂに従った姿勢をとったときに生成されるデータである。つまり、ロボットアーム１００に相対位置姿勢パラメータ情報２ａが表す位置に取り付けられたカメラ２２が取得するセンサデータを仮想的に生成したものである。この仮想センサデータ４ｈは、入力された各情報についての理想的なセンサデータである。
[1-7. Process in which the generator generates virtual sensor data]
The
図１０は、生成部４ｇが仮想センサデータを生成する処理を説明する図である。
図１０の例では、透視投影モデルを用いることで、図１０（ａ）に示すカメラ座標系２２ｂの３次元空間の被写体を、図１０（ｂ）に示す画像面４ｇ−１に投影する。
この図１０では、カメラ２２の光学中心をカメラ座標原点２２ａとするカメラ座標系２２ｂに対して、センサ視点形状情報４ｅが配置されている。カメラ２２が取得する仮想センサデータ４ｈは、画像面４ｇ−１にセンサ視点形状情報を投影することによって得られる。
カメラ２２の透視投影モデルには、［数１］に示すパラメータを用いる。
FIG. 10 is a diagram illustrating a process in which the
In the example of FIG. 10, by using the perspective projection model, the subject in the three-dimensional space of the camera coordinate
In FIG. 10, the sensor viewpoint shape
The parameters shown in [Equation 1] are used for the perspective projection model of the
この［数１］に示すパラメータは、一般的にカメラ２２の内部パラメータと称される。
この内部パラメータのうち、（ｆｘ，ｆｙ）は画素あたりの焦点距離を表しており、カメラ２２の焦点距離をカメラ２２の画素の縦、横の物理的な間隔で割った値である。
また、［数１］に示す内部パラメータのうち、（ｃｕ、ｃｖ）は、画像面４ｇ−１内の仮想センサデータ座標系４ｉにおいて、カメラ２２の光軸と画像面４ｇ−１の交点、画像中心４ｊの座標を表す。
The parameters shown in [Equation 1] are generally referred to as internal parameters of the
Of these internal parameters, (fx, fy) represents the focal length per pixel, which is a value obtained by dividing the focal length of the
Further, among the internal parameters shown in [Equation 1], (cu, cv) is the intersection of the optical axis of the
カメラ座標系２２ｂ上の点（ｘ，ｙ，ｚ）を、画像面４ｇ−１に投影する方法は、例えば［数２］式に示す計算によるものである。
The method of projecting the points (x, y, z) on the camera coordinate
図１０に示す例では、仮想センサデータ４ｈはカメラ２２が撮影する画像を先に述べた透視投影モデルによって、センサ視点形状情報の可能な限りすべての領域を画像面に投影して仮想的に生成したものである。あるいは、仮想センサデータ４ｈはセンサ視点形状情報４ｅの特定の一部領域のみを画像面４ｇ−１に投影したものでもよく、画像面４ｇ−１に投影するセンサ視点形状情報の領域はいずれでもよい。
あるいは、図１１に示すように、仮想センサデータは、少なくとも１点の特定の点を画像面４ｇ−１に投影した際の座標値もしくは座標値の集合でもよい。すなわち、図１１（ａ）に示すカメラ座標系２２ｂの３次元空間の被写体を、図１１（ｂ）に示すように、それぞれの点１〜点ｎの座標位置の値の集合としてもよい。
In the example shown in FIG. 10, the
Alternatively, as shown in FIG. 11, the virtual sensor data may be a coordinate value or a set of coordinate values when at least one specific point is projected on the
なお、本実施の形態例では、センサがカメラ２２である例を示しているが、センサは一般的なビジュアルセンサでもよい。仮想センサデータ４ｈはセンサの種類とそのセンサのセンサデータの出力形式にならって、例えば動画や３次元データなどに置き換えてもよい。
Although the example of the present embodiment shows an example in which the sensor is the
［１−８．センシング部の処理］
図２に示すセンシング部５は、実際にロボットアーム１００に取り付けられたカメラ２２からセンサデータを取得する。ロボットアーム１００は、仮想センサデータ生成部４が入力として受け付ける姿勢情報４ｂが示す姿勢をとり、この状態で、センシング部５はカメラ２２からセンサデータを取得する。
あるいは、センシング部５は、センサデータに対して各種演算処理を行う機能を有していて、センサデータから特定の領域や点、例えばマーカなどを検出し、その座標値もしくは座標値の集合を出力してもよい。センサとしては、カメラ２２の他、一般的なビジュアルセンサを用いてもよい。また、センシング部５が取得するセンサデータは、例えば動画や３次元データでもよい。さらに、センシング部５が取得するセンサデータは、予め取得されたものでもよい。例えば、ハードディスクなどの記憶装置に保存されたものを取得してもよく、あるいは通信手法によって外部から取得したものでもよい。
[1-8. Sensing unit processing]
The
Alternatively, the
［１−９．マッチング部の処理］
図２に示すマッチング部６は、仮想センサデータ生成部４が生成した仮想センサデータ４ｈと、センシング部５が取得したセンサデータを比較して、差異の有無を判定する。
理想的なロボットアーム１００及びカメラ２２を含むロボットシステムにおいては、仮想センサデータ４ｈとセンサデータは完全に一致する。しかしながら、実際にはロボット筐体の歪みやたわみなどの容認により、ロボットアーム１００の位置、姿勢の決定精度が低下し、仮想センサデータ４ｈとセンサデータは一致せず、差異が発生する。
[1-9. Matching section processing]
The
In a robot system including an
マッチングの方法としては仮想センサデータ４ｈとセンサデータの各画素の画素値が比較される。あるいは、ＳＩＦＴ(Scale-Invariant Feature Transform)やＨＯＧ(Histogram of Oriented Gradients)などの一般的な特徴量に変換することで得られる値を比較する方法でもよい。あるいは、仮想センサデータ４ｈとセンサデータ内の例えばリンク１１３ａの縁に観測されるエッジ部など、特定の領域についてのみマッチングを実施してもよく、マッチング対象の領域は特に限定されない。また、マッチング部６は、予め差異の許容量である閾値を記憶しており、仮想センサデータ４ｈとセンサデータが完全に一致しない場合において、閾値に収まる差異量の場合は差異がないと判定してもよい。
As a matching method, the
マッチング部６でのマッチングの結果、仮想センサデータ４ｈとセンサデータに差異が発生する場合は、姿勢の決定精度の低下を検知することができる。検知した姿勢の決定精度の低下は、例えばロボットアーム制御装置２１（図３）に通知する。あるいは、センサ位置姿勢キャリブレーション装置１が備える表示装置１７（図３）に表示して告知する。
If there is a difference between the
＜２．第２の実施の形態例＞
以下、本発明の第２の実施の形態例を、図１２〜図１８を参照して説明する。
なお、本実施の形態例では、仮想センサデータ４ｈとセンサデータが特定の点の座標値である場合を例に説明する。
<2. Example of the second embodiment>
Hereinafter, examples of the second embodiment of the present invention will be described with reference to FIGS. 12 to 18.
In the example of the present embodiment, the case where the
［２−１．センサ位置姿勢キャリブレーション装置の構成］
図１２は、本発明の第２の実施の形態例のセンサ位置姿勢キャリブレーション装置１ａの構成例を示す。
図１２に示すセンサ位置姿勢キャリブレーション装置１ａは、相対位置姿勢パラメータ取得部２、形状情報取得部３、仮想センサデータ生成部４、センシング部５、及びマッチング部６は、第１の実施の形態例（図２）で説明したセンサ位置姿勢キャリブレーション装置１と同じである。
[2-1. Configuration of sensor position / orientation calibration device]
FIG. 12 shows a configuration example of the sensor position /
The sensor position /
第２の実施形態例が第１の実施形態例と異なる点は、第２の実施形態例のセンサ位置姿勢キャリブレーション装置１ａがマッチング結果評価部７を備える点である。
図１２に示す第２の実施形態例においても、第１の実施形態例と同様に、相対位置姿勢パラメータ取得部２、形状情報取得部３、仮想センサデータ生成部４、及びセンシング部５での処理により、仮想センサデータ４ｈとセンサデータが取得される。この仮想センサデータ４ｈとセンサデータはマッチング部６の処理を経てマッチング結果評価部７に送られ、マッチング結果評価部７は、マッチング部６の結果を受付け、仮想センサデータ４ｈとセンサデータに差異があると判定した場合は、誤差量を算出する。
The difference between the second embodiment and the first embodiment is that the sensor position /
In the second embodiment shown in FIG. 12, similarly to the first embodiment, the relative position / orientation
［２−２．マッチング結果評価部の処理］
図１３は、マッチング結果評価部７の処理を示すフローチャートである。
マッチング結果評価部７は、マッチング部６の判定結果を受付け（ステップＳ３１）、マッチング部６の判定の結果から仮想センサデータ４ｈとセンサデータの差異の有無を判定する（ステップＳ３２）。
このステップＳ３２で、仮想センサデータ４ｈとセンサデータに差異があると判定した場合（ステップＳ３２のｙｅｓ）、マッチング結果評価部７は、差異の量を示す誤差を最小化する姿勢を探索する（ステップＳ３３）。そして、マッチング結果評価部７は、誤差を最小化する姿勢と、姿勢情報４ｂの位置、姿勢の誤差量を計算して記録する（ステップＳ３４）。
[2-2. Matching result evaluation section processing]
FIG. 13 is a flowchart showing the processing of the matching result evaluation unit 7.
The matching result evaluation unit 7 receives the determination result of the matching unit 6 (step S31), and determines whether or not there is a difference between the
When it is determined in step S32 that there is a difference between the
また、ステップＳ３２で、仮想センサデータ４ｈとセンサデータの差異がないと判定された場合（ステップＳ３２のｎｏ）、マッチング結果評価部７は、誤差量がないことを表す誤差量を記録する（ステップＳ３５）。
If it is determined in step S32 that there is no difference between the
以下、図１４〜図１６を参照して、ステップＳ３３、Ｓ３４、Ｓ３５の処理について詳細に説明する。
図１４は、ステップＳ３３での処理を示す。
図１４に示す例では、仮想センサデータ４ｈが筐体構成要素３ｂ−１に記されたマーカを画像面４ｇ−１に投影した際の座標値である。図１４の例では、星印、四角の印、三角の印の３つのマーカを示す。それぞれのマーカは３次元座標上の座標が既知であり、例えばロボット座標系１００ａにおいて（ｘ、ｙ、ｚ）座標として表現することが可能である。つまり、基準とする座標系は容易に変換することができる。本実施の形態例では、マーカを検出してその位置を用いる例を示すが、第１の実施の形態例と同様に、画像などのマッチングを行うようにしてもよい。
Hereinafter, the processes of steps S33, S34, and S35 will be described in detail with reference to FIGS. 14 to 16.
FIG. 14 shows the process in step S33.
In the example shown in FIG. 14, the
図１４に示す例では、マーカ７ａ−１、７ａ−２、７ａ−３の３つのマーカが設置されているが、マーカの形状や数についてはマーカが識別可能であればよい。また、図１４に示す例では、３つのマーカがロボットアーム１００の筐体に上に設置されているが、マーカの位置や数は図示のものに限定されない。
In the example shown in FIG. 14, three
画像面４ｇ−１に投影される画像内のマーカ７ａ−１、７ａ−２、７ａ−３を検出する方法にはパターンマッチングなど様々な手法があるが、それ以外の手法を用いてもよい。
図１４（ｂ）に示す仮想センサデータ４ｈ−１と、図１４（ｃ）に示すセンサデータ５ａ−１では、同じマーカの座標を示している。
There are various methods for detecting
The
すなわち、図１４に示す例では、仮想センサデータ座標系４ｉにおけるマーカ７ａ−１の位置を示す図１４（ｂ）の（ｕ４１、ｖ４１）と、図１４（ｃ）の（ｕ５１、ｖ５１）とが対応する。また、マーカ７ａ−２の位置を示す図１４（ｂ）の（ｕ４２、ｖ４２）と、図１４（ｃ）の（ｕ５２、ｖ５２）とが対応する。さらに、マーカ７ａ−３の位置を示す図１４（ｂ）のマーカ７ａ−３の位置を示す（ｕ４３、ｖ４３）と、図１４（ｃ）の（ｕ５３、ｖ５３）とが対応する。
That is, in the example shown in FIG. 14, (u41, v41) of FIG. 14 (b) and (u51, v51) of FIG. 14 (c) indicating the position of the
図１３のステップＳ３２にて差異があると判定されたとき、マッチング結果評価部７は、マーカ７ａ−１、７ａ−２、７ａ−３のうち少なくとも１つの座標が一致しない、もしくは予め設定した閾値以上の差異が生じていると判断する。
仮想センサデータ４ｈ−１とセンサデータ５ａ−１のいずれにおいても、仮想センサデータ座標系４ｉにおけるマーカ７ａ−１、７ａ−２、７ａ−３の位置は、先に説明した［数２］式によって求めることが可能であり、各マーカ位置の組み合わせはカメラ座標系２２ｂの位置、姿勢によって一意に求まる。
When it is determined in step S32 of FIG. 13 that there is a difference, the matching result evaluation unit 7 determines that the coordinates of at least one of the
In both the
ステップＳ３３では、マッチング結果評価部７は、姿勢情報４ｂを変化させて仮想センサデータ４ｈとセンサデータ５ａ−１が一致する姿勢（姿勢情報４ｂ’）を探索する。探索の方法は位置、姿勢を網羅的に変化させる探索方法でもよい。あるいは、仮想センサデータ４ｈ−１とセンサデータ５ａ−１が一致するおおよその姿勢を予め算出して移動することを繰り返す勾配降下法などの探索法でもよい。
In step S33, the matching result evaluation unit 7 changes the
姿勢情報４ｂを変化させて仮想センサデータ４ｈ−１とセンサデータ５ａ−１が一致する姿勢を探索する際は、仮想センサデータ生成部４の入力を変化させることで仮想センサデータ４ｈを変化させることで姿勢を探索してもよく、あるいはロボットアーム１００を動作させてセンサデータ５ａ−１を変化させることで探索してもよい。
When searching for a posture in which the
例えば、マーカ７ａ−１、７ａ−２、７ａ−３を通過するような平面が、画像面４ｇ−１と正対するように、マーカ７ａ−１、７ａ−２、７ａ−３とカメラ２２が位置している際に、（ｕ４１、ｖ４１）と（ｕ５１、ｖ５１）、（ｕ４２、ｖ４２）と（ｕ５２、ｖ５２）、（ｕ４３、ｖ４３）と（ｕ５３、ｖ５３）の差異が、それぞれ（３、０）であるとき、ステップＳ３３では仮想センサデータ４ｈもしくはセンサデータ５ａ−１を画像面４ｇ−１において３ピクセル分、差異を打ち消す方向に平行移動する姿勢情報４ｂを取得すればよい。姿勢情報４ｂの移動には回転を含んでもよい。
For example, the
ステップＳ３４では、マッチング結果評価部７は、姿勢情報４ｂと、ステップＳ３３で求めた姿勢情報４ｂ’（図１６参照）の誤差量を計算し記録する。姿勢情報４ｂ、４ｂ’が位置、姿勢を表すパラメータの場合、パラメータの性質に従った差異の表現方法で誤差を記録する。例えば、姿勢情報４ｂ、４ｂ’が回転・移動行列である場合、姿勢情報４ｂから姿勢情報４ｂ’へ、もしくは逆方向の変換行列である。あるいは、姿勢情報４ｂ、４ｂ’がアクチュエータの制御量などである場合は制御量の変異、例えば回転角度の変異を記録してもよい。
In step S34, the matching result evaluation unit 7 calculates and records the amount of error between the
ステップＳ３５では、マッチング結果評価部７は、ステップＳ３２にて仮想センサデータ４ｈとセンサデータ５ａ−１に差異がないと判定した場合に、姿勢情報４ｂと姿勢情報４ｂ’が同値であることの表現を記録する。例えば、姿勢情報４ｂ、４ｂ’が回転・移動行列である場合、姿勢情報４ｂ、４ｂ’に差異がないと表す表現は単位行列である。あるいは、姿勢情報４ｂ、４ｂ’がアクチュエータの制御量などである場合は制御量の変異、例えば回転角度の変異を０と記録する。
In step S35, when the matching result evaluation unit 7 determines in step S32 that there is no difference between the
図１５は、マーカ７ａ−１が一つのみである場合を示す。この場合、ステップＳ３３では、仮想センサデータ４ｈ−１とセンサデータ５ａ−１が一致する姿勢情報４ｂ’（図１６参照）が複数存在するため、マッチング結果評価部７は、一意に決定することができない。ステップＳ３３では、複数の姿勢情報４ｂを用いて複数の仮想センサデータ４ｈ−１とセンサデータ５ａ−１を作成してもよい。
FIG. 15 shows a case where there is only one
［２−３．姿勢精度を評価する処理］
次に、図１６を用いてロボットアーム１００の姿勢精度を評価する方法を説明する。
図１６に示す例では、ロボットアーム１００はアクチュエータを備える３つのジョイント１１２ａ〜１１２ｃを含み、姿勢情報は３つのジョイント１１２ａ〜１１２ｃの回転角度である。但し、３つのジョイント１１２ａ〜１１２ｃの回転角度とするのは一例であり、別の情報としてもよい。
[2-3. Processing to evaluate posture accuracy]
Next, a method of evaluating the posture accuracy of the
In the example shown in FIG. 16, the
まず、図１６（ａ）に示すように、センサ位置姿勢キャリブレーション装置１ａに任意の姿勢情報４ｂが入力される。
図１６（ｂ）の左側は、姿勢情報４ｂを入力した際の移動体姿勢形状情報４ｃを示す。センサ位置姿勢キャリブレーション装置１ａは姿勢情報４ｂに対応する誤差量を記録する。
First, as shown in FIG. 16A,
The left side of FIG. 16B shows the moving body
次に、センサ位置姿勢キャリブレーション装置１ａは、姿勢情報４ｂの内容のうち、角度θ１のみを変更した姿勢情報４ｂ’を入力として、同様に誤差量を記録する。
図１６（ｂ）の右側は、姿勢情報４ｂ’に対応する移動体姿勢形状情報４ｃ‘を示す。
このとき、記録した２つの誤差量に差異があり、比較した際に後者の誤差量が大きくなる場合に、例えば角度θ１によって制御されるジョイント１１２ａの姿勢精度が悪い、もしくはそれに接続されるリンクに歪みやたわみが発生していると判定してもよい。
Next, the sensor position /
The right side of FIG. 16B shows the moving body posture shape information 4c'corresponding to the
At this time, if there is a difference between the two recorded error amounts and the latter error amount becomes large when compared, for example, the attitude accuracy of the joint 112a controlled by the angle θ1 is poor, or the link connected to the joint 112a has poor attitude accuracy. It may be determined that distortion or deflection has occurred.
本実施の形態例のセンサ位置姿勢キャリブレーション装置１ａを用いて姿勢精度を評価する際に、変化させる姿勢情報４ｂは１つ以上でもよい。また、図１３のフローチャートに示す手順を複数回実行して、複数パターンの姿勢情報４ｂと誤差量の関係を記録してもよい。
When evaluating the posture accuracy using the sensor position /
図１７は、姿勢情報４ｂと誤差量の関係を記録した表の例を示す。姿勢情報４ｂと誤差量の関係から、重回帰分析やロジスティック回帰分析など一般的な解析手法によって誤差量を増加または減少サせる姿勢情報４ｂの要素、または姿勢情報４ｂの要素の組み合わせを求めることができる。
FIG. 17 shows an example of a table recording the relationship between the
あるいは、センサ位置姿勢キャリブレーション装置１ａは、図１８に示すような姿勢精度マップαを作成してもよい。
図１８に示す例では、センサ位置姿勢キャリブレーション装置１ａによってロボットアーム１００の姿勢情報４ｂとその姿勢をとった際の誤差量が得られるため、例えば、誤差量の程度によって領域を設定し、可視化している。
すなわち、図１８に示すように、ロボットアーム１００のハンド１１５の可動範囲αを設定したとき、その可動範囲αの内の誤差がない範囲α１と、比較的小さな誤差が発生する範囲α２と、大きな誤差が発生する範囲α３とを、可視化して表示する。図１８（ａ）は、ハンド１１５の可動範囲αを側面から見た図であり、図１８（ｂ）はハンド１１５の可動範囲αを上面から見た図である。
Alternatively, the sensor position /
In the example shown in FIG. 18, since the
That is, as shown in FIG. 18, when the movable range α of the
この図１８に示す可動範囲αを示す姿勢精度マップは、ディプレイなどの一般的な表示デバイスに表示可能な形式で出力してもよく、あるいは座標と誤差量との対応関係を表すデータの形式として出力してもよい。 The posture accuracy map showing the movable range α shown in FIG. 18 may be output in a format that can be displayed on a general display device such as a display, or a data format that represents the correspondence between the coordinates and the amount of error. It may be output as.
以上説明したように、本実施の形態例によると、例えば図１７に示す姿勢情報４ｂと誤差量の関係、あるいは図１８に示す姿勢精度マップを参照することで、姿勢精度の悪い領域、あるいは位置を取得することができる。このため、センサ位置姿勢キャリブレーション装置１ａの出力を取得することで、ロボットアーム１００の制御装置では、姿勢精度が悪い領域を避ける制御や姿勢精度低下の少ない制御経路生成が可能となる。あるいは、ロボットアーム１００の例えばハンド座標系の到達位置が同一であっても、姿勢情報４ｂの組み合わせが異なる場合に、最も精度がよい姿勢情報４ｂを選択することでロボットアーム１００の姿勢精度が高い制御が可能になる。
As described above, according to the embodiment of the present embodiment, for example, by referring to the relationship between the
＜３．変形例＞
なお、本発明は、上述した各実施の形態例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した各実施の形態例は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
<3. Modification example>
The present invention is not limited to the above-described embodiments, but includes various modifications. For example, each of the above-described embodiments has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to those having all the described configurations.
例えば、上述した各実施の形態例では、移動体をロボットアームとした例について説明したが、双腕ロボットや自動車など、位置姿勢情報を取得可能な対象であれば、様々な移動体に適用が可能である。
また、上述した各実施の形態例では、センサとしてカメラを適用した例について説明したが、３次元センサや赤外線センサ、サーモセンサなど、仮想センサデータ生成部にて出力データを仮想的に表現可能なセンサであれば、様々なセンサに適用が可能である。
For example, in each of the above-described embodiments, an example in which a moving body is used as a robot arm has been described, but it can be applied to various moving bodies as long as it is a target capable of acquiring position / posture information such as a dual-arm robot or an automobile. It is possible.
Further, in each of the above-described embodiments, an example in which a camera is applied as a sensor has been described, but output data can be virtually expressed by a virtual sensor data generation unit such as a three-dimensional sensor, an infrared sensor, or a thermo sensor. If it is a sensor, it can be applied to various sensors.
また、図３、図５などのブロック図では、制御線や情報線は説明上必要と考えられるものだけを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。また、図６、図８などに示すフローチャートにおいて、処理結果に影響を及ぼさない範囲で、複数の処理を同時に実行したり、処理順序を変更してもよい。 Further, in the block diagrams such as FIGS. 3 and 5, only the control lines and information lines considered necessary for explanation are shown, and not all the control lines and information lines are necessarily shown in the product. .. In practice, it can be considered that almost all configurations are interconnected. Further, in the flowcharts shown in FIGS. 6 and 8, a plurality of processes may be executed at the same time or the processing order may be changed as long as the processing results are not affected.
また、実施の形態例で説明したセンサ位置姿勢キャリブレーション装置１，１ａは、図３で説明したように、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、光ディスク等の記録媒体に置くことができる。
Further, the sensor position /
１、１ａ…センサ位置姿勢キャリブレーション装置、２…相対位置姿勢パラメータ取得部、２ａ…相対位置姿勢パラメータ情報、３…形状情報取得部、３ａ…形状情報、４…仮想センサデータ生成部、４ａ…移動体姿勢形状シミュレート部、４ｂ，４ｂ′…姿勢情報、４ｃ，４ｃ′…移動体姿勢形状情報、４ｄ…センサ視点生成部、４ｅ…センサ視点形状情報、４ｆ…センサパラメータ情報、４ｇ…生成部、４ｈ…仮想センサデータ、５…センシング部、６…マッチング部、７…マッチング結果評価部、１０…コンピュータ、１１…中央制御ユニット（ＣＰＵ）、１２…ＲＯＭ、１３…ＲＡＭ、１４…不揮発性ストレージ、１５…ネットワークインタフェース、１６…入力装置、１７…表示装置、１８…ロボットインタフェース、１９…画像インタフェース、２１…ロボットアーム制御装置、２２…カメラ、２２ａ…カメラ座標系原点、２２ｂ…カメラ座標系、１００…ロボットアーム、１１１…ベース、１１２ａ，１１２ｂ，１１２ｃ…ジョイント、１１３ａ，１１３ｂ…リンク、１１４…アーム、１１５…ハンド、１１５ａ…ハンド座標系原点、１１５ｂ…ハンド座標系、α…可動範囲、α１…誤差なし範囲、α２…誤差中範囲、α３…誤差大範囲
1, 1a ... Sensor position / orientation calibration device, 2 ... Relative position / orientation parameter acquisition unit, 2a ... Relative position / orientation parameter information, 3 ... Shape information acquisition unit, 3a ... Shape information, 4 ... Virtual sensor data generation unit, 4a ... Moving body posture shape simulating unit, 4b, 4b'... Attitude information, 4c, 4c' ... Moving body posture shape information, 4d ... Sensor viewpoint shape generator, 4e ... Sensor viewpoint shape information, 4f ... Sensor parameter information, 4g ... Generation Unit, 4h ... Virtual sensor data, 5 ... Sensing unit, 6 ... Matching unit, 7 ... Matching result evaluation unit, 10 ... Computer, 11 ... Central control unit (CPU), 12 ... ROM, 13 ... RAM, 14 ... Non-volatile Storage, 15 ... network interface, 16 ... input device, 17 ... display device, 18 ... robot interface, 19 ... image interface, 21 ... robot arm control device, 22 ... camera, 22a ... camera coordinate system origin, 22b ... camera coordinate system , 100 ... robot arm, 111 ... base, 112a, 112b, 112c ... joint, 113a, 113b ... link, 114 ... arm, 115 ... hand, 115a ... hand coordinate system origin, 115b ... hand coordinate system, α ... movable range, α1 ... No error range, α2 ... Medium error range, α3 ... Large error range
Claims (13)
前記移動体と前記センサの相対位置姿勢を取得する相対位置姿勢パラメータ取得部と、
前記移動体の形状情報を取得する形状情報取得部と、
前記パラメータ取得部と前記形状情報取得部が取得する情報に基づいて、前記センサで取得するデータを仮想的に再現した仮想センサデータを生成する仮想センサデータ生成部と、
前記センサによって取得されたセンサデータを出力するセンシング部と、
前記仮想センサデータと前記センサデータを比較して差異の有無を判定するマッチング部と、を備える
センサ位置姿勢キャリブレーション装置。 It is a sensor position / orientation calibration device that converts the coordinate system set at an arbitrary point of the sensor into the coordinate system of a moving object.
A relative position / orientation parameter acquisition unit that acquires the relative position / orientation between the moving body and the sensor,
A shape information acquisition unit that acquires shape information of the moving body, and
A virtual sensor data generation unit that generates virtual sensor data that virtually reproduces the data acquired by the sensor based on the information acquired by the parameter acquisition unit and the shape information acquisition unit.
A sensing unit that outputs sensor data acquired by the sensor, and
A sensor position / orientation calibration device including a matching unit that compares the virtual sensor data with the sensor data and determines the presence / absence of a difference.
前記形状情報と、前記移動体の姿勢を表現する姿勢情報に基づいて、仮想的な移動体の姿勢形状を表す移動体姿勢形状情報を生成する移動体姿勢形状シミュレート部と、
前記移動体姿勢形状情報と前記相対位置姿勢パラメータを入力として、前記センサの視点に変換したセンサ視点形状情報を生成するセンサ視点生成部と、
前記センサ視点形状情報と前記センサに固有のパラメータを入力として、前記センサが取得するデータを仮想的に生成する生成部と、を備える
請求項１に記載のセンサ位置姿勢キャリブレーション装置。 The virtual sensor data generation unit
A mobile body posture shape simulating unit that generates moving body posture shape information representing a virtual posture shape of a moving body based on the shape information and the posture information expressing the posture of the moving body.
A sensor viewpoint generation unit that generates sensor viewpoint shape information converted into the viewpoint of the sensor by inputting the moving body posture shape information and the relative position / posture parameter.
The sensor position / orientation calibration device according to claim 1, further comprising a generation unit that virtually generates data acquired by the sensor by inputting the sensor viewpoint shape information and parameters unique to the sensor.
任意の座標系に筐体構成要素を前記姿勢情報が示す位置に配置すると共に、
前記姿勢情報が備える指令値を参照し、前記指令値によって実現する前記筐体構成要素の位置姿勢を回転と移動により仮想的に再現することで前記移動体姿勢形状情報を生成し、
制御値によって前記移動体が備えるアクチュエータの動作を仮想的に再現する
請求項２に記載のセンサ位置姿勢キャリブレーション装置。 The moving body posture shape simulating unit is
In addition to arranging the housing components at the positions indicated by the attitude information in an arbitrary coordinate system,
The moving body posture shape information is generated by referring to the command value provided in the posture information and virtually reproducing the position and posture of the housing component realized by the command value by rotation and movement.
The sensor position / orientation calibration device according to claim 2, wherein the operation of the actuator included in the moving body is virtually reproduced by a control value.
請求項２に記載のセンサ位置姿勢キャリブレーション装置。 The second aspect of claim 2, wherein the sensor viewpoint generating unit generates the sensor viewpoint shape information by converting the moving body posture shape information into the viewpoint of the sensor by processing either or both of rotation and movement. Sensor position / orientation calibration device.
仮想的に生成した前記センサが取得するデータは、前記移動体姿勢形状情報の特定の部分の位置情報を少なくとも一つ以上取得する
請求項２に記載のセンサ位置姿勢キャリブレーション装置。 The generation unit virtually generates data acquired by the sensor only for a partial region of the moving body posture shape information.
The sensor position / orientation calibration device according to claim 2, wherein the virtually generated data acquired by the sensor acquires at least one position information of a specific portion of the moving body posture / shape information.
請求項１に記載のセンサ位置姿勢キャリブレーション装置。 The matching unit compares a part or all of the output of the sensing unit with the virtual sensor data, and determines that there is a difference when the difference in the compared determination results is larger than a preset threshold value. The sensor position / orientation calibration device described in 1.
請求項２に記載のセンサ位置姿勢キャリブレーション装置。 The sensor position / orientation calibration device according to claim 2, further comprising a matching result evaluation unit that evaluates the output of the matching unit and calculates an error amount between the virtual sensor data and the sensor data.
請求項７に記載のセンサ位置姿勢キャリブレーション装置。 The sensor position / orientation calibration device according to claim 7, wherein the matching result evaluation unit calculates the attitude information that minimizes or reduces the error amount when there is a difference between the virtual sensor data and the sensor data.
請求項７に記載のセンサ位置姿勢キャリブレーション装置。 The sensor position / orientation calibration according to claim 7, wherein the matching result evaluation unit detects at least one or more markers and calculates an error amount from the difference in the positions of the markers in the virtual sensor data or the sensor data. apparatus.
請求項７に記載のセンサ位置姿勢キャリブレーション装置。 The sensor according to claim 7, wherein the matching result evaluation unit acquires a posture accuracy of the moving body by inputting a plurality of the posture information, creating a plurality of the virtual sensor data and the sensor data, and evaluating the sensor data. Position-orientation calibration device.
請求項７に記載のセンサ位置姿勢キャリブレーション装置。 The matching result evaluation unit changes at least one or more parameters of each value of the posture information, creates a plurality of the posture information, and inputs the plurality of posture information to the plurality of posture information and the error amount. The sensor position / orientation calibration device according to claim 7, wherein the correspondence is recorded, and analysis processing is performed for the correspondence between the attitude information and the error amount.
前記姿勢情報と前記誤差量の対応を記録し、前記姿勢情報とそれに対応する誤差量の一覧を記録する
請求項７に記載のセンサ位置姿勢キャリブレーション装置。 The matching result evaluation unit has a function of creating and displaying a map illustrating the correspondence between the posture information and the error amount.
The sensor position / orientation calibration device according to claim 7, wherein the correspondence between the attitude information and the error amount is recorded, and a list of the attitude information and the corresponding error amount is recorded.
前記移動体と前記センサの相対位置姿勢を取得する相対位置姿勢パラメータ取得処理と、
前記移動体の形状情報を取得する形状情報取得処理と、
前記パラメータ取得処理と前記形状情報取得処理によって取得する情報に基づいて、前記センサで取得するデータを仮想的に再現した仮想センサデータを生成する仮想センサデータ生成処理と、
前記センサによって取得されたセンサデータを出力するセンシング処理と、
前記仮想センサデータと前記センサデータを比較して差異の有無を判定するマッチング処理と、を含む
センサ位置姿勢キャリブレーション方法。 This is a sensor position / orientation calibration method that converts the coordinate system set at an arbitrary point of the sensor into the coordinate system of a moving object.
Relative position / orientation parameter acquisition processing for acquiring the relative position / orientation between the moving body and the sensor,
The shape information acquisition process for acquiring the shape information of the moving body and
A virtual sensor data generation process that generates virtual sensor data that virtually reproduces the data acquired by the sensor based on the information acquired by the parameter acquisition process and the shape information acquisition process.
Sensing processing that outputs sensor data acquired by the sensor, and
A sensor position / orientation calibration method including a matching process of comparing the virtual sensor data with the sensor data to determine the presence / absence of a difference.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019127572A JP7249221B2 (en) | 2019-07-09 | 2019-07-09 | SENSOR POSITION AND POSTURE CALIBRATION DEVICE AND SENSOR POSITION AND POSTURE CALIBRATION METHOD |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019127572A JP7249221B2 (en) | 2019-07-09 | 2019-07-09 | SENSOR POSITION AND POSTURE CALIBRATION DEVICE AND SENSOR POSITION AND POSTURE CALIBRATION METHOD |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021010994A true JP2021010994A (en) | 2021-02-04 |
| JP7249221B2 JP7249221B2 (en) | 2023-03-30 |
Family
ID=74227355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019127572A Active JP7249221B2 (en) | 2019-07-09 | 2019-07-09 | SENSOR POSITION AND POSTURE CALIBRATION DEVICE AND SENSOR POSITION AND POSTURE CALIBRATION METHOD |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7249221B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114199130A (en) * | 2021-12-13 | 2022-03-18 | 江西边际科技有限公司 | Optical information characteristic extraction equipment for self-adjusting and correcting inertia pose |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5297238A (en) * | 1991-08-30 | 1994-03-22 | Cimetrix Incorporated | Robot end-effector terminal control frame (TCF) calibration method and device |
| JP2006110705A (en) * | 2004-09-15 | 2006-04-27 | Yaskawa Electric Corp | Calibration method of robot |
| JP2017170599A (en) * | 2016-03-25 | 2017-09-28 | ファナック株式会社 | Positioning device using robot |
| JP6301045B1 (en) * | 2017-03-09 | 2018-03-28 | 三菱電機株式会社 | Robot control apparatus and calibration method |
| JP2018051634A (en) * | 2016-09-26 | 2018-04-05 | セイコーエプソン株式会社 | Robot control device, robot, robot system and posture specifying device |
-
2019
- 2019-07-09 JP JP2019127572A patent/JP7249221B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5297238A (en) * | 1991-08-30 | 1994-03-22 | Cimetrix Incorporated | Robot end-effector terminal control frame (TCF) calibration method and device |
| JP2006110705A (en) * | 2004-09-15 | 2006-04-27 | Yaskawa Electric Corp | Calibration method of robot |
| JP2017170599A (en) * | 2016-03-25 | 2017-09-28 | ファナック株式会社 | Positioning device using robot |
| JP2018051634A (en) * | 2016-09-26 | 2018-04-05 | セイコーエプソン株式会社 | Robot control device, robot, robot system and posture specifying device |
| JP6301045B1 (en) * | 2017-03-09 | 2018-03-28 | 三菱電機株式会社 | Robot control apparatus and calibration method |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114199130A (en) * | 2021-12-13 | 2022-03-18 | 江西边际科技有限公司 | Optical information characteristic extraction equipment for self-adjusting and correcting inertia pose |
| CN114199130B (en) * | 2021-12-13 | 2023-06-06 | 江西边际科技有限公司 | Optical information characteristic extraction equipment for inertial pose self-adjustment correction |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7249221B2 (en) | 2023-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112672860B (en) | Robot calibration for AR and digital twinning | |
| JP5949242B2 (en) | Robot system, robot, robot control apparatus, robot control method, and robot control program | |
| US9089971B2 (en) | Information processing apparatus, control method thereof and storage medium | |
| JP6594129B2 (en) | Information processing apparatus, information processing method, and program | |
| RU2700246C1 (en) | Method and system for capturing an object using a robot device | |
| JP6826069B2 (en) | Robot motion teaching device, robot system and robot control device | |
| JP2013217893A (en) | Model generation device, position posture estimation device, information processor, model generation method, position posture estimation method, information processing method | |
| JP2019098409A (en) | Robot system and calibration method | |
| Maric et al. | Unsupervised optimization approach to in situ calibration of collaborative human-robot interaction tools | |
| Nandikolla et al. | Teleoperation robot control of a hybrid eeg-based bci arm manipulator using ros | |
| Jha et al. | Kinematics-based approach for robot programming via human arm motion | |
| JP7249221B2 (en) | SENSOR POSITION AND POSTURE CALIBRATION DEVICE AND SENSOR POSITION AND POSTURE CALIBRATION METHOD | |
| JP7263987B2 (en) | Control device, control method, and control program | |
| Niu et al. | Eye-in-hand manipulation for remote handling: Experimental setup | |
| US20220410394A1 (en) | Method and system for programming a robot | |
| CN115082550A (en) | Apparatus and method for locating position of object from camera image of object | |
| JP2022163836A (en) | Method for displaying robot image, computer program, and method for displaying robot image | |
| Al-Junaid | ANN based robotic arm visual servoing nonlinear system | |
| US10379620B2 (en) | Finger model verification method and information processing apparatus | |
| Saukkoriipi | Design and implementation of robot skill programming and control | |
| KR20220067719A (en) | Apparatus and method of robot control through vision recognition using deep learning and marker | |
| US20220168902A1 (en) | Method And Control Arrangement For Determining A Relation Between A Robot Coordinate System And A Movable Apparatus Coordinate System | |
| US20230154162A1 (en) | Method For Generating Training Data Used To Learn Machine Learning Model, System, And Non-Transitory Computer-Readable Storage Medium Storing Computer Program | |
| WO2022123850A1 (en) | Control device, control method, and program | |
| Nandikolla et al. | Research Article Teleoperation Robot Control of a Hybrid EEG-Based BCI Arm Manipulator Using ROS |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220927 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221116 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230317 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7249221 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |