JPH116711A - 計測用撮像装置の校正値測定方法 - Google Patents
計測用撮像装置の校正値測定方法Info
- Publication number
- JPH116711A JPH116711A JP9158938A JP15893897A JPH116711A JP H116711 A JPH116711 A JP H116711A JP 9158938 A JP9158938 A JP 9158938A JP 15893897 A JP15893897 A JP 15893897A JP H116711 A JPH116711 A JP H116711A
- Authority
- JP
- Japan
- Prior art keywords
- imaging device
- jig
- measuring
- rotation
- measurement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Supply And Installment Of Electrical Components (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
(57)【要約】
【課題】 照明や測定治具のエッジ形状の影響を受け難
く、全自動で高精度に計測用撮像装置の校正値を測定す
る。 【解決手段】 正方形平面の各辺に検出対象を等間隔に
配した測定治具１２を測定対象となる撮像装置１１の視
野中央位置に回転しない状態で設置して撮像し、測定治
具の画像データを得る。検出対象の各中心位置Ｐ１〜Ｐ
３２を平均して算出した測定治具の中心１６と視野中心
とのずれ量から撮像装置の取付位置板ずれ量を算出し、
各辺の検出対象の中心位置を直線近似した直線１７の傾
きθ１〜θ４の平均から取付回転ずれ量を算出し、対面
する検出対象間の距離ｌ１〜ｌ８の平均から１画素の実
寸換算値を算出する。
く、全自動で高精度に計測用撮像装置の校正値を測定す
る。 【解決手段】 正方形平面の各辺に検出対象を等間隔に
配した測定治具１２を測定対象となる撮像装置１１の視
野中央位置に回転しない状態で設置して撮像し、測定治
具の画像データを得る。検出対象の各中心位置Ｐ１〜Ｐ
３２を平均して算出した測定治具の中心１６と視野中心
とのずれ量から撮像装置の取付位置板ずれ量を算出し、
各辺の検出対象の中心位置を直線近似した直線１７の傾
きθ１〜θ４の平均から取付回転ずれ量を算出し、対面
する検出対象間の距離ｌ１〜ｌ８の平均から１画素の実
寸換算値を算出する。
Description
【０００１】
【発明の属する技術分野】本発明は電子部品実装設備等
における計測用撮像装置を校正するための校正値の測定
方法に関するものである。
における計測用撮像装置を校正するための校正値の測定
方法に関するものである。
【０００２】
【従来の技術】近年、電子部品実装分野では電子部品を
高速かつ高精度に回路基板に実装する技術が必要とされ
ている。一般的には電子部品や基板マークを撮像して得
られる画像データを高速で処理して、電子部品の位置や
回転量、基板マークの中心位置を正確に検出し、電子部
品の実装位置や回転量の補正を行う画像認識技術が取り
入れられている。
高速かつ高精度に回路基板に実装する技術が必要とされ
ている。一般的には電子部品や基板マークを撮像して得
られる画像データを高速で処理して、電子部品の位置や
回転量、基板マークの中心位置を正確に検出し、電子部
品の実装位置や回転量の補正を行う画像認識技術が取り
入れられている。
【０００３】画像認識では計測用撮像装置により撮像さ
れた画像データを処理して補正量を決定するため、撮像
装置の取付精度に補正量が左右されることになる。そこ
で、予め計測用撮像装置の取付誤差を測定し、取付誤差
の校正を行った上で補正値を算出することにより高精度
な実装を実現している。
れた画像データを処理して補正量を決定するため、撮像
装置の取付精度に補正量が左右されることになる。そこ
で、予め計測用撮像装置の取付誤差を測定し、取付誤差
の校正を行った上で補正値を算出することにより高精度
な実装を実現している。
【０００４】撮像装置の取付誤差により実装位置・回転
の補正量の計測精度が低下する要因としては主に３つ挙
げられる。
の補正量の計測精度が低下する要因としては主に３つ挙
げられる。
【０００５】１つ目の要因は、撮像装置の取付位置ずれ
である。図７（ａ）に示すように画像認識では撮像装置
４１により撮像視野４２を撮像して得られた画像データ
４４のどの位置に対象４３が存在するかを計測して位置
補正量（ｄｘ，ｄｙ）を得るため、撮像視野４２に対す
る相対位置しか測定できない。そのため、図４（ｂ）に
示すように撮像視野４２の中心に位置するように対象４
３を配置しても、撮像装置４１自体の取付位置がずれて
いればその分だけ対象４３の位置がずれて計測される。
である。図７（ａ）に示すように画像認識では撮像装置
４１により撮像視野４２を撮像して得られた画像データ
４４のどの位置に対象４３が存在するかを計測して位置
補正量（ｄｘ，ｄｙ）を得るため、撮像視野４２に対す
る相対位置しか測定できない。そのため、図４（ｂ）に
示すように撮像視野４２の中心に位置するように対象４
３を配置しても、撮像装置４１自体の取付位置がずれて
いればその分だけ対象４３の位置がずれて計測される。
【０００６】２つ目の要因は、撮像装置の取付回転ずれ
である。図８（ａ）に示すように画像認識では撮像装置
４１により撮像視野４２を撮像して得られた画像データ
４４で対象４３がどれだけ回転しているかを計測して回
転補正量θを得るため、撮像視野４２に対する相対回転
量しか測定できない。そのため、図８（ｂ）に示すよう
に撮像視野４２内で回転しないように対象４３を配置し
ても撮像装置４１自体の取付が回転していればその分だ
け対象４３の回転量がずれて計測される。
である。図８（ａ）に示すように画像認識では撮像装置
４１により撮像視野４２を撮像して得られた画像データ
４４で対象４３がどれだけ回転しているかを計測して回
転補正量θを得るため、撮像視野４２に対する相対回転
量しか測定できない。そのため、図８（ｂ）に示すよう
に撮像視野４２内で回転しないように対象４３を配置し
ても撮像装置４１自体の取付が回転していればその分だ
け対象４３の回転量がずれて計測される。
【０００７】３つ目の要因は、撮像装置と対象の距離の
ずれによる１画素の実寸換算値のずれである。距離のず
れにはレンズ形状のずれによる光学的なずれもあるが簡
単のために撮像装置と対象の位置関係のずれで説明をす
る。図９（ａ）に示すように撮像装置４１で対象４３を
撮像して画像パターン４５を得る。１画素の実寸換算値
は対象４３の幅Ｌと画像パターン４５の幅ｌの比から算
出される。そのため、図９（ｂ）に示すように撮像装置
４１を対象４３から遠ざけると、得られる画像パターン
４６は遠ざける前の画像パターン４５に比べ小さくな
り、その分だけ１画素の実寸換算値に誤差が生じる。
ずれによる１画素の実寸換算値のずれである。距離のず
れにはレンズ形状のずれによる光学的なずれもあるが簡
単のために撮像装置と対象の位置関係のずれで説明をす
る。図９（ａ）に示すように撮像装置４１で対象４３を
撮像して画像パターン４５を得る。１画素の実寸換算値
は対象４３の幅Ｌと画像パターン４５の幅ｌの比から算
出される。そのため、図９（ｂ）に示すように撮像装置
４１を対象４３から遠ざけると、得られる画像パターン
４６は遠ざける前の画像パターン４５に比べ小さくな
り、その分だけ１画素の実寸換算値に誤差が生じる。
【０００８】これらの誤差要因を校正するためには、こ
れらの誤差要因によって生じる誤差をあらかじめ正確に
測定する必要がある。従来一般的に用いられていた方法
として、正方形治具を測定する方法がある。図１０
（ａ）に示すように、幅Ｌの正方形の治具５２を視野の
中心位置に回転しない状態で設置する。撮像装置４１で
撮像して治具５２の画像パターン５３を得る。次に図１
０（ｂ）に示すように画像パターン５３の各辺に対し明
るさ変化のある点を検出し、それらの点を直線近似した
直線５４を求める。次に図１０（ｃ）に示すように各辺
で求めた直線の交点から治具パターン５３の頂点５５を
求め、各頂点の位置を平均した点が治具パターン５３の
中心になる。そして、もし撮像装置４１の取付位置がず
れている場合、図１０（ｄ）に示すようにずれ量（ｄ
ｘ，ｄｙ）が求められる。また、直線５４の傾きを平均
したものが治具パターン７３の回転量となるが、撮像装
置４１の取付が回転している場合、図１０（ｄ）に示す
ように取付回転ずれ量θが求められる。さらに、治具５
２の幅Ｌと治具画像パターン５３の幅ｌの比から１画素
の実寸換算値を求めることができる。
れらの誤差要因によって生じる誤差をあらかじめ正確に
測定する必要がある。従来一般的に用いられていた方法
として、正方形治具を測定する方法がある。図１０
（ａ）に示すように、幅Ｌの正方形の治具５２を視野の
中心位置に回転しない状態で設置する。撮像装置４１で
撮像して治具５２の画像パターン５３を得る。次に図１
０（ｂ）に示すように画像パターン５３の各辺に対し明
るさ変化のある点を検出し、それらの点を直線近似した
直線５４を求める。次に図１０（ｃ）に示すように各辺
で求めた直線の交点から治具パターン５３の頂点５５を
求め、各頂点の位置を平均した点が治具パターン５３の
中心になる。そして、もし撮像装置４１の取付位置がず
れている場合、図１０（ｄ）に示すようにずれ量（ｄ
ｘ，ｄｙ）が求められる。また、直線５４の傾きを平均
したものが治具パターン７３の回転量となるが、撮像装
置４１の取付が回転している場合、図１０（ｄ）に示す
ように取付回転ずれ量θが求められる。さらに、治具５
２の幅Ｌと治具画像パターン５３の幅ｌの比から１画素
の実寸換算値を求めることができる。
【０００９】その他の方法として治具を視野内で移動さ
せる方法がある。図１１（ａ）に示すように、まず治具
６２を視野の中心から水平、垂直方向へそれぞれＬ離れ
た位置に配置し、撮像装置４１で撮像して治具６２の画
像パターン６３を得る。図１１（ｂ）に示すように周囲
と明るさの異なる画像パターン６３と周囲との境界を検
出し、境界点の平均から画像パターン６３の中心６４を
求める。次に、図１１（ａ）の矢印で示すように治具６
２を２Ｌづつ移動させ、図１１（ｃ）に示すように前述
の方法で画像パターンの中心６５、６６、６７を求め
る。撮像装置４１の取付位置ずれがなければ、各画像パ
ターンの中心６４、６５、６６、６７を平均した点が視
野の中心となるが、取付位置ずれがあれば、図１１
（ｄ）に示すようにずれ量（ｄｘ，ｄｙ）が求められ
る。また、中心６４−６５、６５−６６、６６−６７、
６７−６４を結ぶ直線の傾きから撮像装置４１の取付回
転ずれ量θが求められる。さらに、治具６２の移動距離
２Ｌと中心６４−６５、６５−６６、６６−６７、６７
−６４間の距離の比から１画素の実寸換算値を求めるこ
とができる。
せる方法がある。図１１（ａ）に示すように、まず治具
６２を視野の中心から水平、垂直方向へそれぞれＬ離れ
た位置に配置し、撮像装置４１で撮像して治具６２の画
像パターン６３を得る。図１１（ｂ）に示すように周囲
と明るさの異なる画像パターン６３と周囲との境界を検
出し、境界点の平均から画像パターン６３の中心６４を
求める。次に、図１１（ａ）の矢印で示すように治具６
２を２Ｌづつ移動させ、図１１（ｃ）に示すように前述
の方法で画像パターンの中心６５、６６、６７を求め
る。撮像装置４１の取付位置ずれがなければ、各画像パ
ターンの中心６４、６５、６６、６７を平均した点が視
野の中心となるが、取付位置ずれがあれば、図１１
（ｄ）に示すようにずれ量（ｄｘ，ｄｙ）が求められ
る。また、中心６４−６５、６５−６６、６６−６７、
６７−６４を結ぶ直線の傾きから撮像装置４１の取付回
転ずれ量θが求められる。さらに、治具６２の移動距離
２Ｌと中心６４−６５、６５−６６、６６−６７、６７
−６４間の距離の比から１画素の実寸換算値を求めるこ
とができる。
【００１０】
【発明が解決しようとする課題】ところが、正方形治具
を使用する場合、照明の加減や治具のエッジ形状などに
よる治具の光り方によって誤差が生じてしまうという問
題がある。図１２（ａ）に示すように、画像データ７１
において治具パターン７２の各辺を検出する処理におい
て、検出対象となる直線７３上の明るさ変化はグラフ７
４のようになる。
を使用する場合、照明の加減や治具のエッジ形状などに
よる治具の光り方によって誤差が生じてしまうという問
題がある。図１２（ａ）に示すように、画像データ７１
において治具パターン７２の各辺を検出する処理におい
て、検出対象となる直線７３上の明るさ変化はグラフ７
４のようになる。
【００１１】この時にエッジ点を検出するためのしきい
値を７５の値に定めると治具パターン７２のエッジライ
ンは７６のようになり、治具パターン７２の外側にな
る。また、しきい値を７７に定めるとエッジライン７８
に示すように治具パターン７２の内側になってしまう。
治具パターンのエッジ付近の明るさ変化は照明の照明角
度やエッジ形状によって急勾配になったり、緩やかな勾
配になったりするため、正しいエッジ位置を検出するの
は困難となる。
値を７５の値に定めると治具パターン７２のエッジライ
ンは７６のようになり、治具パターン７２の外側にな
る。また、しきい値を７７に定めるとエッジライン７８
に示すように治具パターン７２の内側になってしまう。
治具パターンのエッジ付近の明るさ変化は照明の照明角
度やエッジ形状によって急勾配になったり、緩やかな勾
配になったりするため、正しいエッジ位置を検出するの
は困難となる。
【００１２】もし、２辺のエッジラインが間違ってしま
うと、図１２（ｂ）に示すように中心位置に誤差ｄｘ，
ｄｙを生じてしまう。また、１コーナーのエッジ情報の
み間違ってしまうと、図１２（ｃ）に示すように傾きに
誤差θを生じてしまう。さらに、均等に全辺が間違えば
図１２（ｄ）に示すように治具パターンのサイズｌは
ｌ’のようになるため、１画素の実寸換算値に誤差を生
じてしまう。
うと、図１２（ｂ）に示すように中心位置に誤差ｄｘ，
ｄｙを生じてしまう。また、１コーナーのエッジ情報の
み間違ってしまうと、図１２（ｃ）に示すように傾きに
誤差θを生じてしまう。さらに、均等に全辺が間違えば
図１２（ｄ）に示すように治具パターンのサイズｌは
ｌ’のようになるため、１画素の実寸換算値に誤差を生
じてしまう。
【００１３】治具を視野内で移動する方法の場合は、正
方形治具と異なりエッジ位置の誤差はあまり生じない。
というのは正方形治具の場合より対象が小さいため、エ
ッジの誤差は全体に同様に発生する。同様に発生してい
るためそれらを平均した中心はエッジ誤差のない時と同
じ位置になる。この方法は同じ方法で測定した異なる位
置で測定治具の中心位置を使って校正値を算出するため
エッジ誤差による影響が少ないといえる。しかし、この
方法では移動のための手段による誤差が生じる。そのた
め、移動が正確に行われなければ正方形治具のように位
置ずれや回転ずれや１画素実寸換算値ずれが発生してし
まう。
方形治具と異なりエッジ位置の誤差はあまり生じない。
というのは正方形治具の場合より対象が小さいため、エ
ッジの誤差は全体に同様に発生する。同様に発生してい
るためそれらを平均した中心はエッジ誤差のない時と同
じ位置になる。この方法は同じ方法で測定した異なる位
置で測定治具の中心位置を使って校正値を算出するため
エッジ誤差による影響が少ないといえる。しかし、この
方法では移動のための手段による誤差が生じる。そのた
め、移動が正確に行われなければ正方形治具のように位
置ずれや回転ずれや１画素実寸換算値ずれが発生してし
まう。
【００１４】また、正方形治具を使用する場合、もう一
つの問題点がある。それは、撮像装置の回転ずれ量の計
測である。回転ずれ量の計測では撮像された測定治具パ
ターンの回転量を計測しそれを撮像装置の回転ずれ量と
して求めるが、その場合測定治具の回転量が０であると
いう前提条件が必要となる。しかし、実際には測定治具
の回転量を０にするのは大変困難であり、実装設備にお
いてすべてを自動的に計測する場合には大きな障害とな
る。
つの問題点がある。それは、撮像装置の回転ずれ量の計
測である。回転ずれ量の計測では撮像された測定治具パ
ターンの回転量を計測しそれを撮像装置の回転ずれ量と
して求めるが、その場合測定治具の回転量が０であると
いう前提条件が必要となる。しかし、実際には測定治具
の回転量を０にするのは大変困難であり、実装設備にお
いてすべてを自動的に計測する場合には大きな障害とな
る。
【００１５】本発明は、上記従来の問題点に鑑み、計測
用撮像装置においてその校正値を自動的にかつ高精度に
測定することができる校正値測定方法を提供することを
目的としている。
用撮像装置においてその校正値を自動的にかつ高精度に
測定することができる校正値測定方法を提供することを
目的としている。
【００１６】
【課題を解決するための手段】第１の発明の計測用撮像
装置の校正値測定方法は、周囲の所定位置に所定間隔で
検出対象を配した測定治具を校正対象である撮像装置と
所定の位置関係に設置する第１の工程と、設置された測
定治具を撮像し画像データを得る第２工程と、測定治具
の画像データより周囲の検出対象の各中心位置を検出す
る第３工程と、検出対象の各中心位置から撮像装置の校
正値を計算する第４工程とを備えるものである。
装置の校正値測定方法は、周囲の所定位置に所定間隔で
検出対象を配した測定治具を校正対象である撮像装置と
所定の位置関係に設置する第１の工程と、設置された測
定治具を撮像し画像データを得る第２工程と、測定治具
の画像データより周囲の検出対象の各中心位置を検出す
る第３工程と、検出対象の各中心位置から撮像装置の校
正値を計算する第４工程とを備えるものである。
【００１７】このように測定治具の周囲に配した検出対
象の中心位置から各校正値を測定するため、照明や測定
治具のエッジ形状の影響を受け難い上、複数の検出対象
を測定して平均化することでより高精度な校正値を測定
することができる。
象の中心位置から各校正値を測定するため、照明や測定
治具のエッジ形状の影響を受け難い上、複数の検出対象
を測定して平均化することでより高精度な校正値を測定
することができる。
【００１８】好適には、測定治具として、正方形平面の
各辺に円形の検出対象を等間隔に配したものを使用す
る。また、校正値として検出対象の中心位置の平均値か
ら撮像装置の取付位置ずれ量を計算し、各辺の検出対象
の中心位置に近似される直線の傾きから撮像装置の取付
回転ずれ量を算出し、検出対象の間隔から撮像装置の１
画素の実寸換算値を計算する。
各辺に円形の検出対象を等間隔に配したものを使用す
る。また、校正値として検出対象の中心位置の平均値か
ら撮像装置の取付位置ずれ量を計算し、各辺の検出対象
の中心位置に近似される直線の傾きから撮像装置の取付
回転ずれ量を算出し、検出対象の間隔から撮像装置の１
画素の実寸換算値を計算する。
【００１９】また、第２の発明の計測用撮像装置の校正
値測定方法は、上記第１工程と、設置された測定治具を
測定治具又は撮像装置を移動しながら１行づつ撮像する
１次元の撮像素子を有する撮像装置を使用して撮像し画
像データを得る第２工程と、上記第３工程と、移動方向
に沿う辺に配された検出対象の中心位置に近似された直
線の傾きと移動方向に対向する辺に配された検出対象の
中心位置に近似された直線の傾きをそれぞれ計算する第
４工程と、移動方向に沿う辺の傾きから測定治具の回転
量を計算し、移動方向に対向する辺の傾きから移動方向
に沿う辺の傾きを差し引いた傾きから撮像装置の取付回
転ずれ量を算出する第５工程とを備えるものであり、こ
れにより１次元の撮像素子を有する撮像装置について同
様に校正値を測定することができ、さらに移動方向に沿
う辺の傾きが測定治具の回転量を表し、移動方向に対向
する辺の傾きが測定治具と撮像装置の回転ずれ量の和を
表しているので、測定治具の回転量と撮像装置の取付回
転ずれ量を同時にそれぞれ分離して測定することがで
き、測定治具の回転量を０にするような調整が必要でな
くなる。
値測定方法は、上記第１工程と、設置された測定治具を
測定治具又は撮像装置を移動しながら１行づつ撮像する
１次元の撮像素子を有する撮像装置を使用して撮像し画
像データを得る第２工程と、上記第３工程と、移動方向
に沿う辺に配された検出対象の中心位置に近似された直
線の傾きと移動方向に対向する辺に配された検出対象の
中心位置に近似された直線の傾きをそれぞれ計算する第
４工程と、移動方向に沿う辺の傾きから測定治具の回転
量を計算し、移動方向に対向する辺の傾きから移動方向
に沿う辺の傾きを差し引いた傾きから撮像装置の取付回
転ずれ量を算出する第５工程とを備えるものであり、こ
れにより１次元の撮像素子を有する撮像装置について同
様に校正値を測定することができ、さらに移動方向に沿
う辺の傾きが測定治具の回転量を表し、移動方向に対向
する辺の傾きが測定治具と撮像装置の回転ずれ量の和を
表しているので、測定治具の回転量と撮像装置の取付回
転ずれ量を同時にそれぞれ分離して測定することがで
き、測定治具の回転量を０にするような調整が必要でな
くなる。
【００２０】また、第３の発明の計測用撮像装置の校正
値測定方法は、１次元の撮像素子を有する撮像装置と２
次元の撮像素子を有する撮像装置をそれぞれ１つ以上含
む複数の撮像装置を有する電子部品実装設備において、
第２の発明の校正方法を用い測定治具の回転量を取得す
る第１工程と、第１の発明の校正方法により撮像装置の
校正値を算出する第２工程と、撮像装置が２次元の撮像
素子を有する撮像装置の場合第２工程で求められた撮像
装置の取付回転ずれ量から第１工程で求められた測定治
具の回転量を引いて真の撮像装置の取付回転ずれ量を算
出し直す第３工程とを備えるものであり、上記のように
測定治具の回転量を０にするような調整を行う必要がな
く、自動的に全ての撮像装置の校正値を正確に測定する
ことができる。
値測定方法は、１次元の撮像素子を有する撮像装置と２
次元の撮像素子を有する撮像装置をそれぞれ１つ以上含
む複数の撮像装置を有する電子部品実装設備において、
第２の発明の校正方法を用い測定治具の回転量を取得す
る第１工程と、第１の発明の校正方法により撮像装置の
校正値を算出する第２工程と、撮像装置が２次元の撮像
素子を有する撮像装置の場合第２工程で求められた撮像
装置の取付回転ずれ量から第１工程で求められた測定治
具の回転量を引いて真の撮像装置の取付回転ずれ量を算
出し直す第３工程とを備えるものであり、上記のように
測定治具の回転量を０にするような調整を行う必要がな
く、自動的に全ての撮像装置の校正値を正確に測定する
ことができる。
【００２１】
【発明の実施の形態】以下、本発明の第１の実施形態の
計測用撮像装置の校正値測定方法について、図１、図２
を参照して説明する。
計測用撮像装置の校正値測定方法について、図１、図２
を参照して説明する。
【００２２】図１のステップ＃１１で、図２（ａ）に示
すように、正方形平面の各辺に円形の検出対象を等間隔
に配した測定治具１２を校正対象である撮像装置１１の
視野中央で撮像される位置に回転しない状態で設置す
る。次に、ステップ＃１２で設置された測定治具１２を
撮像し、画像データ１３を得る。次に、ステップ＃１３
で、図２（ｂ）に示すように得られた画像データを格子
状にスキャンし、明るさ変化の大きい位置１４つまり正
方形平面の各辺に配された円形検出対象を検出する。明
るさの変化の大きい位置１４を検出したら、隣合う変化
の大きい位置へと順次追跡を行い、円形検出対象の境界
点１５を検出する。同様にして全ての円形検出対象の境
界点１５を検出する。全ての円形の検出対象の境界点１
５が求まったら、各円形検出対象の境界点１５の重心を
求め、それを円形検出対象の中心位置と決定する。次
に、ステップ＃１４で、校正値を計算する。
すように、正方形平面の各辺に円形の検出対象を等間隔
に配した測定治具１２を校正対象である撮像装置１１の
視野中央で撮像される位置に回転しない状態で設置す
る。次に、ステップ＃１２で設置された測定治具１２を
撮像し、画像データ１３を得る。次に、ステップ＃１３
で、図２（ｂ）に示すように得られた画像データを格子
状にスキャンし、明るさ変化の大きい位置１４つまり正
方形平面の各辺に配された円形検出対象を検出する。明
るさの変化の大きい位置１４を検出したら、隣合う変化
の大きい位置へと順次追跡を行い、円形検出対象の境界
点１５を検出する。同様にして全ての円形検出対象の境
界点１５を検出する。全ての円形の検出対象の境界点１
５が求まったら、各円形検出対象の境界点１５の重心を
求め、それを円形検出対象の中心位置と決定する。次
に、ステップ＃１４で、校正値を計算する。
【００２３】校正値の計算は次のようにして行われる。
図２（ｃ）に示すように検出された円形検出対象の中心
位置Ｐ１〜Ｐ３２の平均から測定治具１２の中心１６を
算出する。はじめに測定治具１２を視野の中心に位置す
るように設置していたので、算出した中心１６と視野中
心とのずれ量ｄｘ，ｄｙが撮像装置１１の取付位置ずれ
量となる。
図２（ｃ）に示すように検出された円形検出対象の中心
位置Ｐ１〜Ｐ３２の平均から測定治具１２の中心１６を
算出する。はじめに測定治具１２を視野の中心に位置す
るように設置していたので、算出した中心１６と視野中
心とのずれ量ｄｘ，ｄｙが撮像装置１１の取付位置ずれ
量となる。
【００２４】次に、図２（ｄ）に示すように各辺の円形
検出対象の中心位置を直線近似１７とし、それらの直線
の傾きからθ１〜θ４を求める。得られたθ１〜θ４の
平均から測定治具１２の傾きθを求める。始めに測定治
具１２を回転しない状態で設置しているので、測定治具
１２の傾きθが撮像装置の取付回転ずれ量となる。
検出対象の中心位置を直線近似１７とし、それらの直線
の傾きからθ１〜θ４を求める。得られたθ１〜θ４の
平均から測定治具１２の傾きθを求める。始めに測定治
具１２を回転しない状態で設置しているので、測定治具
１２の傾きθが撮像装置の取付回転ずれ量となる。
【００２５】次に、図２（ｅ）に示すように対面する円
形検出対象間の距離ｌ１〜ｌ１８の平均から測定治具の
画像パターン１８のサイズｌを求める。測定治具のサイ
ズＬと画像パターン１８のサイズｌの比から１画素の実
寸換算値を算出する。
形検出対象間の距離ｌ１〜ｌ１８の平均から測定治具の
画像パターン１８のサイズｌを求める。測定治具のサイ
ズＬと画像パターン１８のサイズｌの比から１画素の実
寸換算値を算出する。
【００２６】次に、本発明の第２の実施形態の計測用撮
像装置の校正値測定方法について、図３、図４を参照し
て説明する。
像装置の校正値測定方法について、図３、図４を参照し
て説明する。
【００２７】図４（ａ）に示すように対象物又は撮像装
置を移動しながら１行づつ撮像する１次元の撮像素子を
有する撮像装置２１をθだけ回転させて取付けている場
合、正方形の対象物２４を矢印の方向に移動させて撮像
すると、まず正方形対象物２４の頂点Ｂが撮像され続い
て頂点Ａが撮像されていく。従って入力された画像パタ
ーン２５は正方形ＡＢＣＤでなく平行四辺形Ａ’Ｂ’
Ｃ’Ｄ’となる。撮像された平行四辺形Ａ’Ｂ’Ｃ’
Ｄ’において頂点Ａ’の位置は正方形の頂点Ａに対し、 Ａ'x＝Ａｘ＋Ｌ×（ cosθ−cos2θ） Ａ'y＝Ａｙ＋Ｌ× sinθ という関係で表される。ここで、撮像装置２１の取付回
転ずれ量がそれほど大きくないことを考えれば、Ｘ方向
への変位は無視できる値であるから、回転ずれしている
１次元の撮像素子を有する撮像装置２１で撮影した場
合、撮像された画像は撮像素子と垂直方向へ回転ずれ量
分だけ変位することになる。本実施形態ではこの特性を
利用し、測定治具の回転量と撮像装置の取付回転ずれ量
を同時に測定する。
置を移動しながら１行づつ撮像する１次元の撮像素子を
有する撮像装置２１をθだけ回転させて取付けている場
合、正方形の対象物２４を矢印の方向に移動させて撮像
すると、まず正方形対象物２４の頂点Ｂが撮像され続い
て頂点Ａが撮像されていく。従って入力された画像パタ
ーン２５は正方形ＡＢＣＤでなく平行四辺形Ａ’Ｂ’
Ｃ’Ｄ’となる。撮像された平行四辺形Ａ’Ｂ’Ｃ’
Ｄ’において頂点Ａ’の位置は正方形の頂点Ａに対し、 Ａ'x＝Ａｘ＋Ｌ×（ cosθ−cos2θ） Ａ'y＝Ａｙ＋Ｌ× sinθ という関係で表される。ここで、撮像装置２１の取付回
転ずれ量がそれほど大きくないことを考えれば、Ｘ方向
への変位は無視できる値であるから、回転ずれしている
１次元の撮像素子を有する撮像装置２１で撮影した場
合、撮像された画像は撮像素子と垂直方向へ回転ずれ量
分だけ変位することになる。本実施形態ではこの特性を
利用し、測定治具の回転量と撮像装置の取付回転ずれ量
を同時に測定する。
【００２８】まず、図３のステップ＃２１で、図４
（ｂ）に示すように、正方形平面の各辺に円形検出対象
を等間隔に配した測定治具１２を校正対象となる１次元
の撮像素子を有する撮像装置２１の視野中央で撮像され
るように設置する。このとき測定治具１２は回転してい
てもかまわない。次に、ステップ＃２２で１次元の撮像
素子を有する撮像装置２１を矢印の方向へ移動しながら
測定治具１２を撮像し、画像データ２３を得る。次に、
ステップ＃２３で上記第１の実施形態で説明したのと同
じ要領で測定治具の画像データより正方形平面の各辺に
配された円形検出対象の各中心位置を検出する。
（ｂ）に示すように、正方形平面の各辺に円形検出対象
を等間隔に配した測定治具１２を校正対象となる１次元
の撮像素子を有する撮像装置２１の視野中央で撮像され
るように設置する。このとき測定治具１２は回転してい
てもかまわない。次に、ステップ＃２２で１次元の撮像
素子を有する撮像装置２１を矢印の方向へ移動しながら
測定治具１２を撮像し、画像データ２３を得る。次に、
ステップ＃２３で上記第１の実施形態で説明したのと同
じ要領で測定治具の画像データより正方形平面の各辺に
配された円形検出対象の各中心位置を検出する。
【００２９】次に、ステップ＃２４で測定治具１２の傾
きを計算し、続いてステップ＃２５で回転ずれ量を算出
する。図４（ｃ）に示すように、各辺の円形検出対象の
中心位置を直線近似２７し、それらの直線の傾きθ１〜
θ４を求める。そして左右の辺の傾きをθ３、θ４の平
均値で求め、上下の辺の傾きをθ１、θ２の平均値で求
める。上述のように、左右辺では回転ずれした１次元の
撮像素子を有する撮像装置２１の影響を受けないので、
求められた左右辺の傾きは測定治具１２の回転量とな
る。上下辺では回転ずれした１次元の撮像素子を有する
撮像装置２１の影響を受けるので、求められた上下辺の
傾きは測定治具１２の回転量と撮像装置２１の回転ずれ
量が含まれている。よって、上下辺の傾きから左右辺の
傾きを差し引いた傾きが撮像装置２１の取付回転ずれ量
となる。
きを計算し、続いてステップ＃２５で回転ずれ量を算出
する。図４（ｃ）に示すように、各辺の円形検出対象の
中心位置を直線近似２７し、それらの直線の傾きθ１〜
θ４を求める。そして左右の辺の傾きをθ３、θ４の平
均値で求め、上下の辺の傾きをθ１、θ２の平均値で求
める。上述のように、左右辺では回転ずれした１次元の
撮像素子を有する撮像装置２１の影響を受けないので、
求められた左右辺の傾きは測定治具１２の回転量とな
る。上下辺では回転ずれした１次元の撮像素子を有する
撮像装置２１の影響を受けるので、求められた上下辺の
傾きは測定治具１２の回転量と撮像装置２１の回転ずれ
量が含まれている。よって、上下辺の傾きから左右辺の
傾きを差し引いた傾きが撮像装置２１の取付回転ずれ量
となる。
【００３０】次に、本発明の第３の実施形態の計測用撮
像装置の校正値測定方法について、図５、図６を参照し
て説明する。
像装置の校正値測定方法について、図５、図６を参照し
て説明する。
【００３１】図６（ａ）に示すように大・小２種の視野
サイズの撮像装置を搭載した電子部品実装設備における
撮像装置の校正値測定について説明する。大視野撮像装
置３１は１次元の撮像素子を有する撮像装置で、小視野
撮像装置３２は２次元の撮像素子を有する撮像装置であ
る。まず、上記第１、第２の実施形態と同様の測定治具
１２を大視野撮像装置３１の視野中央へ撮像されるよう
に矢印の方向へ移動しながら撮像する。そうしてまず、
ステップ＃３１で第２の実施形態で説明した要領で測定
治具１２の回転量を測定し、合わせてステップ＃３２、
＃３３で第１及び第２の実施形態で説明した要領にて大
視野撮像装置３１の取付位置ずれ量、取付回転ずれ量、
１画素の実寸換算値を測定する。
サイズの撮像装置を搭載した電子部品実装設備における
撮像装置の校正値測定について説明する。大視野撮像装
置３１は１次元の撮像素子を有する撮像装置で、小視野
撮像装置３２は２次元の撮像素子を有する撮像装置であ
る。まず、上記第１、第２の実施形態と同様の測定治具
１２を大視野撮像装置３１の視野中央へ撮像されるよう
に矢印の方向へ移動しながら撮像する。そうしてまず、
ステップ＃３１で第２の実施形態で説明した要領で測定
治具１２の回転量を測定し、合わせてステップ＃３２、
＃３３で第１及び第２の実施形態で説明した要領にて大
視野撮像装置３１の取付位置ずれ量、取付回転ずれ量、
１画素の実寸換算値を測定する。
【００３２】次に、図６（ｂ）に示すように測定治具１
２を小視野撮像装置３２の視野中央で撮像されるように
測定治具１２が回転しないように平行移動して配置し、
小視野撮像装置３２で撮像する。そしてステップ＃３
２、＃３３で第１の実施形態で説明した要領にて小視野
撮像装置３２の取付位置ずれ量、取付回転ずれ量、１画
素の実寸換算値を測定する。測定された取付回転ずれ量
には測定治具１２の回転量も含まれているので、測定さ
れた取付回転ずれ量から先に求めた測定治具１２の回転
量を差し引いて真の小視野撮像装置３２の取付回転ずれ
量を求める。
２を小視野撮像装置３２の視野中央で撮像されるように
測定治具１２が回転しないように平行移動して配置し、
小視野撮像装置３２で撮像する。そしてステップ＃３
２、＃３３で第１の実施形態で説明した要領にて小視野
撮像装置３２の取付位置ずれ量、取付回転ずれ量、１画
素の実寸換算値を測定する。測定された取付回転ずれ量
には測定治具１２の回転量も含まれているので、測定さ
れた取付回転ずれ量から先に求めた測定治具１２の回転
量を差し引いて真の小視野撮像装置３２の取付回転ずれ
量を求める。
【００３３】
【発明の効果】本発明の計測用撮像装置の校正値測定方
法によれば、以上の説明から明らかなように、測定治具
の周囲に配した検出対象の中心位置から各校正値を測定
するため、照明や測定治具のエッジ形状の影響を受け難
い上、複数の検出対象を測定して平均化することでより
高精度な校正値を測定することができる。
法によれば、以上の説明から明らかなように、測定治具
の周囲に配した検出対象の中心位置から各校正値を測定
するため、照明や測定治具のエッジ形状の影響を受け難
い上、複数の検出対象を測定して平均化することでより
高精度な校正値を測定することができる。
【００３４】また、測定治具の回転量を撮像装置の取付
回転ずれ量とは別に測定することができるため、電子部
品実装設備において測定治具の回転量を０にするような
調整が必要でなく、自動的に全ての撮像装置の校正値を
正確に測定することができる等の効果を発揮する。
回転ずれ量とは別に測定することができるため、電子部
品実装設備において測定治具の回転量を０にするような
調整が必要でなく、自動的に全ての撮像装置の校正値を
正確に測定することができる等の効果を発揮する。
【図１】本発明の計測用撮像装置の校正値測定方法の第
１の実施形態のフローチャートである。
１の実施形態のフローチャートである。
【図２】同実施形態の校正値測定方法の説明図である。
【図３】本発明の計測用撮像装置の校正値測定方法の第
２の実施形態のフローチャートである。
２の実施形態のフローチャートである。
【図４】同実施形態の校正値測定方法の説明図である。
【図５】本発明の計測用撮像装置の校正値測定方法の第
２の実施形態のフローチャートである。
２の実施形態のフローチャートである。
【図６】同実施形態の校正値測定方法の説明図である。
【図７】校正値である取付位置ずれ量の説明図である。
【図８】校正値である取付回転ずれ量の説明図である。
【図９】校正値である１画素の実寸換算値の説明図であ
る。
る。
【図１０】従来例の計測用撮像装置の校正値測定方法の
説明図である。
説明図である。
【図１１】他の従来例の計測用撮像装置の校正値測定方
法の説明図である。
法の説明図である。
【図１２】従来例の校正値測定方法における測定誤差発
生の説明図である。
生の説明図である。
１１、２１、３１、３２ 撮像装置 １２ 測定治具 １３、２３ 撮像した画像データ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｈ０５Ｋ 13/08 Ｇ０６Ｆ 15/62 ４０５Ｚ (72)発明者 森本 正通 大阪府門真市大字門真1006番地 松下電器 産業株式会社内
Claims (5)
- 【請求項１】 周囲の所定位置に所定間隔で検出対象を
配した測定治具を校正対象である撮像装置と所定の位置
関係に設置する第１の工程と、設置された測定治具を撮
像し画像データを得る第２工程と、測定治具の画像デー
タより周囲の検出対象の各中心位置を検出する第３工程
と、検出対象の各中心位置から撮像装置の校正値を計算
する第４工程とを備えたことを特徴とする計測用撮像装
置の校正値測定方法。 - 【請求項２】 測定治具として、正方形平面の各辺に円
形の検出対象を等間隔に配したものを使用することを特
徴とする請求項１記載の計測用撮像装置の校正値測定方
法。 - 【請求項３】 校正値として検出対象の中心位置の平均
値から撮像装置の取付位置ずれ量を計算し、各辺の検出
対象の中心位置に近似される直線の傾きから撮像装置の
取付回転ずれ量を算出し、検出対象の間隔から撮像装置
の１画素の実寸換算値を計算することを特徴とする請求
項１記載の計測用撮像装置の校正値測定方法。 - 【請求項４】 請求項１記載の第１工程と、設置された
測定治具を測定治具又は撮像装置を移動しながら１行づ
つ撮像する１次元の撮像素子を有する撮像装置を使用し
て撮像し画像データを得る第２工程と、請求項１記載の
第３工程と、移動方向に沿う辺に配された検出対象の中
心位置に近似された直線の傾きと移動方向に対向する辺
に配された検出対象の中心位置に近似された直線の傾き
をそれぞれ計算する第４工程と、移動方向に沿う辺の傾
きから測定治具の回転量を計算し、移動方向に対向する
辺の傾きから移動方向に沿う辺の傾きを差し引いた傾き
から撮像装置の取付回転ずれ量を算出する第５工程とを
備えたことを特徴とする計測用撮像装置の校正値測定方
法。 - 【請求項５】 １次元の撮像素子を有する撮像装置と２
次元の撮像素子を有する撮像装置をそれぞれ１つ以上含
む複数の撮像装置を有する電子部品実装設備において、
請求項４記載の校正方法を用い測定治具の回転量を取得
する第１工程と、請求項１記載の校正方法により撮像装
置の校正値を算出する第２工程と、撮像装置が２次元の
撮像素子を有する撮像装置の場合第２工程で求められた
撮像装置の取付回転ずれ量から第１工程で求められた測
定治具の回転量を引いて真の撮像装置の取付回転ずれ量
を算出し直す第３工程とを備えたことを特徴とする電子
部品実装設備における計測用撮像装置の校正値測定方
法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15893897A JP3893191B2 (ja) | 1997-06-16 | 1997-06-16 | 計測用撮像装置の校正値測定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15893897A JP3893191B2 (ja) | 1997-06-16 | 1997-06-16 | 計測用撮像装置の校正値測定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH116711A true JPH116711A (ja) | 1999-01-12 |
| JP3893191B2 JP3893191B2 (ja) | 2007-03-14 |
Family
ID=15682633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15893897A Expired - Fee Related JP3893191B2 (ja) | 1997-06-16 | 1997-06-16 | 計測用撮像装置の校正値測定方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3893191B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4820028A (en) * | 1984-12-28 | 1989-04-11 | Canon Kabushiki Kaisha | Zoom lens with a variable refractive index element |
| JP2007309808A (ja) * | 2006-05-19 | 2007-11-29 | Juki Corp | 対象物の位置検出方法及び装置 |
| JP2011099687A (ja) * | 2009-11-04 | 2011-05-19 | Daiwa Odakyu Construction Co Ltd | 赤外線法によるコンクリート表層部の変状部検出方法 |
| JP2013231702A (ja) * | 2012-05-02 | 2013-11-14 | Canon Inc | 画像計測装置、画像計測方法及び画像計測プログラム |
| JP2018145009A (ja) * | 2017-03-02 | 2018-09-20 | 株式会社リコー | 搬送装置、画像形成装置及び後処理装置 |
| CN108613630A (zh) * | 2018-04-28 | 2018-10-02 | 中国计量大学 | 基于图像处理技术的两线型管水准器气泡偏移量测量方法 |
| WO2020129850A1 (ja) * | 2018-12-21 | 2020-06-25 | オムロン株式会社 | リニアスケールの検出値の補正方法 |
| CN115604568A (zh) * | 2022-09-08 | 2023-01-13 | 青岛海尔电冰箱有限公司（Cn） | 用于检测摄像头安装角度的方法、存储介质及设备 |
-
1997
- 1997-06-16 JP JP15893897A patent/JP3893191B2/ja not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4820028A (en) * | 1984-12-28 | 1989-04-11 | Canon Kabushiki Kaisha | Zoom lens with a variable refractive index element |
| JP2007309808A (ja) * | 2006-05-19 | 2007-11-29 | Juki Corp | 対象物の位置検出方法及び装置 |
| JP2011099687A (ja) * | 2009-11-04 | 2011-05-19 | Daiwa Odakyu Construction Co Ltd | 赤外線法によるコンクリート表層部の変状部検出方法 |
| JP2013231702A (ja) * | 2012-05-02 | 2013-11-14 | Canon Inc | 画像計測装置、画像計測方法及び画像計測プログラム |
| JP2018145009A (ja) * | 2017-03-02 | 2018-09-20 | 株式会社リコー | 搬送装置、画像形成装置及び後処理装置 |
| CN108613630A (zh) * | 2018-04-28 | 2018-10-02 | 中国计量大学 | 基于图像处理技术的两线型管水准器气泡偏移量测量方法 |
| CN108613630B (zh) * | 2018-04-28 | 2022-03-11 | 中国计量大学 | 基于图像处理技术的两线型管水准器气泡偏移量测量方法 |
| WO2020129850A1 (ja) * | 2018-12-21 | 2020-06-25 | オムロン株式会社 | リニアスケールの検出値の補正方法 |
| KR20210080537A (ko) * | 2018-12-21 | 2021-06-30 | 오므론 가부시키가이샤 | 리니어 스케일의 검출값의 보정 방법 |
| JPWO2020129850A1 (ja) * | 2018-12-21 | 2021-11-04 | オムロン株式会社 | リニアスケールの検出値の補正方法 |
| US11333535B2 (en) | 2018-12-21 | 2022-05-17 | Omron Corporation | Method for correcting values detected by linear scales |
| CN115604568A (zh) * | 2022-09-08 | 2023-01-13 | 青岛海尔电冰箱有限公司（Cn） | 用于检测摄像头安装角度的方法、存储介质及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3893191B2 (ja) | 2007-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7280211B2 (en) | Method of adjusting monitor axis | |
| JP3511450B2 (ja) | 光学式測定装置の位置校正方法 | |
| CA1266761A (en) | Automated positioning system | |
| US6535291B1 (en) | Calibration methods for placement machines incorporating on-head linescan sensing | |
| JP6343325B2 (ja) | レーザスキャナの調整方法 | |
| US20210291376A1 (en) | System and method for three-dimensional calibration of a vision system | |
| JPH03257354A (ja) | はんだ印刷検査装置 | |
| US20130113897A1 (en) | Process and arrangement for determining the position of a measuring point in geometrical space | |
| JP3893191B2 (ja) | 計測用撮像装置の校正値測定方法 | |
| JP2001516503A (ja) | 電気的コンポーネントの製造装置を測定するための方法および装置 | |
| US5978094A (en) | Alignment device and method based on imaging characteristics of the image pickup system | |
| JP4284765B2 (ja) | ロボットハンド位置計測装置 | |
| JPH01236700A (ja) | 部品リードの検査及び姿勢認識方法 | |
| JP2001124700A (ja) | ラインセンサーカメラを備えた検査機のキャリブレーション方法 | |
| US6526165B1 (en) | Methods and apparatuses for refining a geometric description of an object having a plurality of extensions | |
| JPH11132735A (ja) | Ｉｃリード浮き検査装置及び検査方法 | |
| JP2000258121A (ja) | 複数カメラ校正用のマスター基板及び画像認識カメラの校正方法 | |
| JP3095411B2 (ja) | Ｃｃｄカメラの校正方法 | |
| JPS6311804A (ja) | 位置決め用マ−ク位置検出方式 | |
| JPH08110206A (ja) | 位置及び姿勢検出方法と位置及び姿勢検出装置 | |
| CN114111638B (zh) | 一种基于相位偏折的曲面检测方法 | |
| JPH04338700A (ja) | 基板マーク認識装置 | |
| CN113155097B (zh) | 具有位姿补偿功能的动态追踪***及其位姿补偿方法 | |
| JP3779118B2 (ja) | 撮像装置におけるカメラの位置ずれ検出方法、撮像装置におけるカメラの傾き検出方法、および、撮像装置におけるカメラの移動量補正方法 | |
| JP3247925B2 (ja) | 電子部品実装方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040528 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060705 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061114 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061211 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091215 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101215 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111215 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121215 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121215 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131215 Year of fee payment: 7 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |