JP2700260B2 - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JP2700260B2 JP2700260B2 JP29193788A JP29193788A JP2700260B2 JP 2700260 B2 JP2700260 B2 JP 2700260B2 JP 29193788 A JP29193788 A JP 29193788A JP 29193788 A JP29193788 A JP 29193788A JP 2700260 B2 JP2700260 B2 JP 2700260B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pattern
- image processing
- processing apparatus
- reference pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Analysis (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、対象パターンと参照パターンとを重ね合せ
る画像処理装置に係り、特に実時間で処理を行なう画像
処理装置に関する。
る画像処理装置に係り、特に実時間で処理を行なう画像
処理装置に関する。
二つのパターンを重も合せる方法としては、特開昭62
−169284号の例がある。この方法は、パターンの輪郭線
を方向別に分類し、各方向ごとにその重心位置を求め、
二つのパターンについて対応する方向の重心位置の差が
すべて同一になるようなパターンの回転移動角を探し、
二つのパターンを重ね合せるための並行・回転移動量を
求めるものである。
−169284号の例がある。この方法は、パターンの輪郭線
を方向別に分類し、各方向ごとにその重心位置を求め、
二つのパターンについて対応する方向の重心位置の差が
すべて同一になるようなパターンの回転移動角を探し、
二つのパターンを重ね合せるための並行・回転移動量を
求めるものである。
また、別の例として、特開昭60−84610号がある。こ
の例は、二つのパターンの間に働く引力を仮想し、この
力の方向にパターンを並行移動し、二つのパターンを重
ね合せるものである。
の例は、二つのパターンの間に働く引力を仮想し、この
力の方向にパターンを並行移動し、二つのパターンを重
ね合せるものである。
さらに、一般的に知られている方法として、テンプレ
ートマッチングがあげられる。この方法は、参照パター
ンを少しずつずらしながら、二つのパターンの重なり具
合を示す相関係数を計算し、この系数が最大となる位置
を探すものである。
ートマッチングがあげられる。この方法は、参照パター
ンを少しずつずらしながら、二つのパターンの重なり具
合を示す相関係数を計算し、この系数が最大となる位置
を探すものである。
上記従来技術のうち第１と第３の方法では、重ね合せ
るためのパターンの移動量の決定に際し、どちらに行く
べきか基準がないので、すべての場合について探索する
必要があった。このため処理時間が長くなる欠点があっ
た。
るためのパターンの移動量の決定に際し、どちらに行く
べきか基準がないので、すべての場合について探索する
必要があった。このため処理時間が長くなる欠点があっ
た。
また、対象パターンに欠落やノイスがある場合、重ね
合せの精度が落ちたり、うまくいかなくなる問題があっ
た。
合せの精度が落ちたり、うまくいかなくなる問題があっ
た。
一方、上記第２の方法では、平行移動による重ね合せ
のみが考えられており、二つのパターンの間に回転移動
を含むずれがあると、対処できなかった。
のみが考えられており、二つのパターンの間に回転移動
を含むずれがあると、対処できなかった。
本発明の目的は、対象パターンの欠落やノイズに強
く、回転を含む一般的なずれに対処でき、高速処理が可
能なパターン重ね合せ画像処理装置を提供することであ
る。
く、回転を含む一般的なずれに対処でき、高速処理が可
能なパターン重ね合せ画像処理装置を提供することであ
る。
本発明は、上記目的を達成するために、画像の対象パ
ターンと参照パターンとを重ね合せる画像処理装置にお
いて、対象パターンに基づくポテンシャル場を計算する
ポテンシャル計算装置と、参照パターンを記憶する画像
記憶装置と、ポテンシャル計算装置の出力と画像記憶装
置に記憶された参照パターンとにより画像の縦および横
方向に働く力の合力を計算する力計算装置と、ポテンシ
ャル計算装置の出力と画像記憶装置に記憶された参照パ
ターンとにより画像を回転させるモーメントの合力を計
算するモーメント計算装置と、縦および横方向の合力並
びにモーメントの合力に基づき参照パターンと対象パタ
ーンとのずれを修正する手段とを含む画像処理装置を提
案するものである。
ターンと参照パターンとを重ね合せる画像処理装置にお
いて、対象パターンに基づくポテンシャル場を計算する
ポテンシャル計算装置と、参照パターンを記憶する画像
記憶装置と、ポテンシャル計算装置の出力と画像記憶装
置に記憶された参照パターンとにより画像の縦および横
方向に働く力の合力を計算する力計算装置と、ポテンシ
ャル計算装置の出力と画像記憶装置に記憶された参照パ
ターンとにより画像を回転させるモーメントの合力を計
算するモーメント計算装置と、縦および横方向の合力並
びにモーメントの合力に基づき参照パターンと対象パタ
ーンとのずれを修正する手段とを含む画像処理装置を提
案するものである。
前記ずれ修正手段は、具体的には、特徴パターンに対
応した参照パターンを与えられた位置に応じて生成する
参照パターン生成装置と、参照パターンを生成するため
の形状および位置データを記憶するパターン情報記憶装
置と、上記縦および横方向の合力並びにモーメントの方
向にパターン情報記憶装置中の位置データを書き換えさ
せる修正装置とからなる。
応した参照パターンを与えられた位置に応じて生成する
参照パターン生成装置と、参照パターンを生成するため
の形状および位置データを記憶するパターン情報記憶装
置と、上記縦および横方向の合力並びにモーメントの方
向にパターン情報記憶装置中の位置データを書き換えさ
せる修正装置とからなる。
本発明は、また、ロボットアーム等の誘導対象物に固
定されたカメラ等の入力機器から取り込まれた画像の対
象パターンと参照パターンとを重ね合せ、誘導物を所定
の位置に誘導する画像処理装置において、対象パターン
に基づくポテンシャル場を計算するポテンシャル計算装
置と、参照パターンを記憶する画像記憶装置と、ポテン
シャル計算装置の出力と画像記憶装置に記憶された参照
パターンとにより画像の縦および横方向に働く力の合力
を計算する力計算装置と、ポテンシャル計算装置の出力
と画像記憶装置に記憶された参照パターンとにより前記
画像を回転させるモーメントの合力を計算するモーメン
ト計算装置と、縦および横方向の合力並びに前記モーメ
ントの合力に基づき誘導対象物を移動させ参照パターン
と対象パターンとのずれを修正する手段とを含む画像処
理装置を提案するものである。
定されたカメラ等の入力機器から取り込まれた画像の対
象パターンと参照パターンとを重ね合せ、誘導物を所定
の位置に誘導する画像処理装置において、対象パターン
に基づくポテンシャル場を計算するポテンシャル計算装
置と、参照パターンを記憶する画像記憶装置と、ポテン
シャル計算装置の出力と画像記憶装置に記憶された参照
パターンとにより画像の縦および横方向に働く力の合力
を計算する力計算装置と、ポテンシャル計算装置の出力
と画像記憶装置に記憶された参照パターンとにより前記
画像を回転させるモーメントの合力を計算するモーメン
ト計算装置と、縦および横方向の合力並びに前記モーメ
ントの合力に基づき誘導対象物を移動させ参照パターン
と対象パターンとのずれを修正する手段とを含む画像処
理装置を提案するものである。
本発明は、さらに、カメラ等の入力機器から取り込ま
れた画像の対象パターンと参照パターンとを重ね合せ、
カメラ等のぶれを解消する画像処理装置において、対象
パターンに基づくポテンシャル場を計算するポテンシャ
ル計算装置と、カメラ等から最初に取り込まれた画像を
参照パターンとして記憶する画像記憶装置と、ポテンシ
ャル計算装置の出力と画像記憶装置に記憶された参照パ
ターンとにより画像の縦および横方向に働く力の合力を
計算する力計算装置と、ポテンシャル計算装置の出力と
画像記憶装置に記憶された参照パターンとにより画像を
回転させるモーメントの合力を計算するモーメント計算
装置と、縦および横方向の合力並びにモーメントの合力
に基づきカメラ等から新たに取り込まれる画像をずらす
画像ずらし装置とを含む画像処理装置を提案するもので
ある。
れた画像の対象パターンと参照パターンとを重ね合せ、
カメラ等のぶれを解消する画像処理装置において、対象
パターンに基づくポテンシャル場を計算するポテンシャ
ル計算装置と、カメラ等から最初に取り込まれた画像を
参照パターンとして記憶する画像記憶装置と、ポテンシ
ャル計算装置の出力と画像記憶装置に記憶された参照パ
ターンとにより画像の縦および横方向に働く力の合力を
計算する力計算装置と、ポテンシャル計算装置の出力と
画像記憶装置に記憶された参照パターンとにより画像を
回転させるモーメントの合力を計算するモーメント計算
装置と、縦および横方向の合力並びにモーメントの合力
に基づきカメラ等から新たに取り込まれる画像をずらす
画像ずらし装置とを含む画像処理装置を提案するもので
ある。
いずれの場合も、カメラ等の入力機器から入力された
濃淡画像からその画像の特徴パターンを計算しポテンシ
ャル計算装置に出力する特徴パターン計算装置を備える
ことができる。
濃淡画像からその画像の特徴パターンを計算しポテンシ
ャル計算装置に出力する特徴パターン計算装置を備える
ことができる。
また、ポテンシャル計算装置は、自らの計算結果を記
憶する第２の画像記憶装置を備え、第２の画像記憶装置
との間のループを用いて差分法によりポテンシャル場を
計算する装置としてもよい。
憶する第２の画像記憶装置を備え、第２の画像記憶装置
との間のループを用いて差分法によりポテンシャル場を
計算する装置としてもよい。
さらに、モーメント計算装置は、画像領域を複数の領
域に分割し、各領域で合計した縦および横方向の力を加
減算し、前記モーメントを近似演算する装置とすること
も可能である。
域に分割し、各領域で合計した縦および横方向の力を加
減算し、前記モーメントを近似演算する装置とすること
も可能である。
ポテンシャル計算装置は対象パターンを源とするポテ
ンシャル場を計算する。力計算装置とモーメント計算装
置とはこのポテンシャル場に参照パターンをのせた場合
に働く力とモーメントの合力とを計算する。この力とモ
ーメトンは二つのパターンを重ね合せる方向に働くの
で、力とモーメントの方向にパターンを動かすと、二つ
のパターンを重ね合せできる。また、この力とモーメン
トは二つのパターンの各部に働く力の合力であり、しか
も二つのパターンが接近するほど強く働くから、対象パ
ターンに欠落やノイズがあっても、正確に重ね合せるこ
とが可能である。
ンシャル場を計算する。力計算装置とモーメント計算装
置とはこのポテンシャル場に参照パターンをのせた場合
に働く力とモーメントの合力とを計算する。この力とモ
ーメトンは二つのパターンを重ね合せる方向に働くの
で、力とモーメントの方向にパターンを動かすと、二つ
のパターンを重ね合せできる。また、この力とモーメン
トは二つのパターンの各部に働く力の合力であり、しか
も二つのパターンが接近するほど強く働くから、対象パ
ターンに欠落やノイズがあっても、正確に重ね合せるこ
とが可能である。
繰り返し計算によるポテンシャルの近似計算は、少な
い繰り返し回数でも妥当な近似を与え、また、他の処理
と同時並列に計算できることから、処理の高速化を可能
にする。
い繰り返し回数でも妥当な近似を与え、また、他の処理
と同時並列に計算できることから、処理の高速化を可能
にする。
さらに、画面の４分割によるモーメント計算の近似
は、乗算を必要としないので、処理を高速化できる。
は、乗算を必要としないので、処理を高速化できる。
実施例の説明に先立ち、本発明によるパターンの重ね
合せ原理について説明する。
合せ原理について説明する。
第２図において、Ａは対象パターン,Bは参照パターン
であり、ＢはＡに対してずれている。対象パターンA,参
照パターンB2次元平面上の関数ａ（x,y）,b（x,y）で表
現する。このとき、 で定義される２次元のポテンシャル場φ（x,y）を考え
る。次にこのポテンシャル場に参照パターンＢを置いた
場合にこのパターンに作用する力とモーメントの合力と
を と定義する。ただし、Ｓは画像平面上の全領域で、
（x0，y0）は参照パターンＢの重心位置である。上記ポ
テンシャル場φ（x,y）はちょうどパターンＡに電荷を
与えた場合に生じる電場に似た形となり、力Fx,Fyとモ
ーメントＮとは、参照パターンＢに対象パターンＡと逆
の電荷を与えた場合に働く力に似たものとなる。したが
って、対象パターンＡと参照パターンＢとがある程度重
なっている状態では、Fx,FyとＮとは両パターンを完全
に重ね合せるような方向に働くことになる。そこで、参
照パターンＢを（Fx,Fy）の方向に（dx,dy）だけずら
し、かつ重心まわりにＮの方向にｄθだけ回転させて、
再びFx,Fy,N計算することを繰り返すと、対象パターン
Ａと参照パターンＢとを重ね合せできる。
であり、ＢはＡに対してずれている。対象パターンA,参
照パターンB2次元平面上の関数ａ（x,y）,b（x,y）で表
現する。このとき、 で定義される２次元のポテンシャル場φ（x,y）を考え
る。次にこのポテンシャル場に参照パターンＢを置いた
場合にこのパターンに作用する力とモーメントの合力と
を と定義する。ただし、Ｓは画像平面上の全領域で、
（x0，y0）は参照パターンＢの重心位置である。上記ポ
テンシャル場φ（x,y）はちょうどパターンＡに電荷を
与えた場合に生じる電場に似た形となり、力Fx,Fyとモ
ーメントＮとは、参照パターンＢに対象パターンＡと逆
の電荷を与えた場合に働く力に似たものとなる。したが
って、対象パターンＡと参照パターンＢとがある程度重
なっている状態では、Fx,FyとＮとは両パターンを完全
に重ね合せるような方向に働くことになる。そこで、参
照パターンＢを（Fx,Fy）の方向に（dx,dy）だけずら
し、かつ重心まわりにＮの方向にｄθだけ回転させて、
再びFx,Fy,N計算することを繰り返すと、対象パターン
Ａと参照パターンＢとを重ね合せできる。
本発明による画像処理装置の第１実施例の構成を第１
図に示す。本実施例はテーブルなどの上に置かれた物体
の位置および姿勢をカメラりから取り込んだ画像により
求めるものである。図において、１は対象物を写すカメ
ラ、２はカメラ１により得た濃淡画像から特徴パターン
を取り出す特徴パターン計算装置である。特徴パターン
計算装置２は、本実施例では、特徴パターンとして画面
を微分して得られるエッジパターンを計算する。３は特
徴パターン計算装置２の出力画像をもとにポテンシャル
場を計算するポテンシャル計算装置、４は計算されたポ
テンシャル場を記憶する第１画像記憶装置である。９は
物体11の形状データとカメラ位置を基準とした物体の推
定位置および姿勢データを記憶しているパターン情報記
憶装置、10はパターン情報記憶装置９のデータに基づい
てカメラの視点から見た時に推定される物体11の参照パ
ターンを生成する参照パターン生成装置、６は生成され
た参照パターンを記憶する第２画像記憶装置である。
図に示す。本実施例はテーブルなどの上に置かれた物体
の位置および姿勢をカメラりから取り込んだ画像により
求めるものである。図において、１は対象物を写すカメ
ラ、２はカメラ１により得た濃淡画像から特徴パターン
を取り出す特徴パターン計算装置である。特徴パターン
計算装置２は、本実施例では、特徴パターンとして画面
を微分して得られるエッジパターンを計算する。３は特
徴パターン計算装置２の出力画像をもとにポテンシャル
場を計算するポテンシャル計算装置、４は計算されたポ
テンシャル場を記憶する第１画像記憶装置である。９は
物体11の形状データとカメラ位置を基準とした物体の推
定位置および姿勢データを記憶しているパターン情報記
憶装置、10はパターン情報記憶装置９のデータに基づい
てカメラの視点から見た時に推定される物体11の参照パ
ターンを生成する参照パターン生成装置、６は生成され
た参照パターンを記憶する第２画像記憶装置である。
参照パターン生成装置10が生成する参照パターンは、
特徴パターン計算装置２が計算する特徴パターンに対応
したものであり、本実施例では物体の隠線消去により得
られるワイヤフレーム像である。５は第1,第２画像記憶
装置4,6のデータにより参照パターンに作用する力を計
算する力計算装置、７は同じくモーメントを計算するモ
ーメント計算装置である。８は力計算装置５およびモー
メント計算装置７で求められた力とモーメントによりパ
ターン情報記憶装置９の中の物***置を修正する修正装
置である。
特徴パターン計算装置２が計算する特徴パターンに対応
したものであり、本実施例では物体の隠線消去により得
られるワイヤフレーム像である。５は第1,第２画像記憶
装置4,6のデータにより参照パターンに作用する力を計
算する力計算装置、７は同じくモーメントを計算するモ
ーメント計算装置である。８は力計算装置５およびモー
メント計算装置７で求められた力とモーメントによりパ
ターン情報記憶装置９の中の物***置を修正する修正装
置である。
ポテンシャル計算装置３のポテンシャル計算は、式
（１）の解を正確に得るものであってもよいが、一般に
多大の計算を要するので、ここでは以下に示す差分演算
により近似的に計算する。
（１）の解を正確に得るものであってもよいが、一般に
多大の計算を要するので、ここでは以下に示す差分演算
により近似的に計算する。
ここで▲Ut ij▼は画素（i,j）のｔ回目の繰り返し計算
結果aijは入力エッジパターンの（i,j）画素値、ｋは定
数である。この計算は繰り返し回数が多いほど式（１）
の解に近付くが、少ない繰り返し回数であっても、以下
の処理を行なうのに十分な近似を与える。また、カメラ
１から画像を連続的に入力する場合、一つ前の画像に対
する計算結果を初期値とすると、繰り返し回数を節約で
きる。第１図の例では第１画像記憶装置４に▲Ut ij▼を
記憶しておき、ポテンシャル計算装置３と第１画像記憶
装置４との間のループにより繰り返し計算を行なう。
結果aijは入力エッジパターンの（i,j）画素値、ｋは定
数である。この計算は繰り返し回数が多いほど式（１）
の解に近付くが、少ない繰り返し回数であっても、以下
の処理を行なうのに十分な近似を与える。また、カメラ
１から画像を連続的に入力する場合、一つ前の画像に対
する計算結果を初期値とすると、繰り返し回数を節約で
きる。第１図の例では第１画像記憶装置４に▲Ut ij▼を
記憶しておき、ポテンシャル計算装置３と第１画像記憶
装置４との間のループにより繰り返し計算を行なう。
力計算装置５では次式によりx,y方向の力を計算す
る。
る。
一方、モーメント計算装置７では次式によりモーメン
トを計算する。
トを計算する。
ここでbijは参照パターンＢの（i,j）画素値、i0，j0は
Ｂの重心位置に相当する画素位置である。
Ｂの重心位置に相当する画素位置である。
ところで、参照パターンＢがおおよそ画面中心にある
場合には、上記のモーメント計算は以下のように近似で
きる。すなわち、画面Ｓを第３図に示すようにS1，S2，
S3，S4の４領域に分割し、それぞれの領域で合計した力
を として Ｎ＝Fx1＋Fy1−Fx2−Fy2＋Fx3−Fy3＋Fx4＋Fy4 （12） により近似できる。なお、分割数は４領域に限らず、複
数であればよいが、あまり多く分割しないでも、充分な
近似精度が得られるから、計算速度とのかね合いで分割
数を決める。
場合には、上記のモーメント計算は以下のように近似で
きる。すなわち、画面Ｓを第３図に示すようにS1，S2，
S3，S4の４領域に分割し、それぞれの領域で合計した力
を として Ｎ＝Fx1＋Fy1−Fx2−Fy2＋Fx3−Fy3＋Fx4＋Fy4 （12） により近似できる。なお、分割数は４領域に限らず、複
数であればよいが、あまり多く分割しないでも、充分な
近似精度が得られるから、計算速度とのかね合いで分割
数を決める。
修正装置８は、力計算装置５とモーメント計算装置７
でそれぞれ計算した力とモーメントの方向に応じて、パ
ターン情報記憶装置９の中の物***置および姿勢に以下
に示すdx,dy,dθを加算する。
でそれぞれ計算した力とモーメントの方向に応じて、パ
ターン情報記憶装置９の中の物***置および姿勢に以下
に示すdx,dy,dθを加算する。
次に本実施例の動作について説明する。
まず、第１画像記憶装置４には▲Ut ij▼＝０ポテンシ
ャルをセットし、パターン情報記憶装置９には物***置
および姿勢の初期推定値をセットする。カメラ１から物
体11の画像を入力し始めると、特徴パターン計算装置２
はそのエッジパターンを対象パターンとして生成し、ポ
テンシャル計算装置３は繰り返し計算によりポテンシャ
ル場を第１画像記憶装置４に出力する。一方、参照パタ
ーン生成装置10はパターン情報記憶装置９にセットされ
た初期物***置および姿勢により参照パターンを第２画
像記憶装置６の書き込む。力計算装置５およびモーメン
ト計算装置７は第１および第２画像記憶装置4,6内のデ
ータにより力とモーメントを計算し、修正装置８はその
計算結果に基づいてパターン情報記憶装置９にセットさ
れた物***置および姿勢を修正する。参照パターン生成
装置10は再び修正された位置および姿勢により参照パタ
ーンを生成し、第２画像記憶装置６に書き込む。この繰
り返しにより参照パターンは対象パターンである物体の
エッジパターンに重なってゆく。重ね合せが完了したこ
との判定は、例えば、上記繰り返し処理において過去数
回の位置姿勢修正量の平均がほとんど０になったかどう
かによりなされる。カメラの位置が既知であれば、重ね
合せ処理が完了した時点でのパターン情報記憶装置９内
の物***置および姿勢データにより物体の位置と姿勢と
を知ることができる。
ャルをセットし、パターン情報記憶装置９には物***置
および姿勢の初期推定値をセットする。カメラ１から物
体11の画像を入力し始めると、特徴パターン計算装置２
はそのエッジパターンを対象パターンとして生成し、ポ
テンシャル計算装置３は繰り返し計算によりポテンシャ
ル場を第１画像記憶装置４に出力する。一方、参照パタ
ーン生成装置10はパターン情報記憶装置９にセットされ
た初期物***置および姿勢により参照パターンを第２画
像記憶装置６の書き込む。力計算装置５およびモーメン
ト計算装置７は第１および第２画像記憶装置4,6内のデ
ータにより力とモーメントを計算し、修正装置８はその
計算結果に基づいてパターン情報記憶装置９にセットさ
れた物***置および姿勢を修正する。参照パターン生成
装置10は再び修正された位置および姿勢により参照パタ
ーンを生成し、第２画像記憶装置６に書き込む。この繰
り返しにより参照パターンは対象パターンである物体の
エッジパターンに重なってゆく。重ね合せが完了したこ
との判定は、例えば、上記繰り返し処理において過去数
回の位置姿勢修正量の平均がほとんど０になったかどう
かによりなされる。カメラの位置が既知であれば、重ね
合せ処理が完了した時点でのパターン情報記憶装置９内
の物***置および姿勢データにより物体の位置と姿勢と
を知ることができる。
上記実施例において、特徴パターン計算装置２はエッ
ジパターン以外の例えばテクスチャや色を抽出するもの
であってもよい。この場合、パターン情報記憶装置９内
の形状データとしては、その特徴量に対応した推定パタ
ーンを表示し得るデータを用意しておくことになる。
ジパターン以外の例えばテクスチャや色を抽出するもの
であってもよい。この場合、パターン情報記憶装置９内
の形状データとしては、その特徴量に対応した推定パタ
ーンを表示し得るデータを用意しておくことになる。
上記実施例においてカメラ１の視点は必ずしも物体の
真上になくてもよく、第４図（Ｂ）に示すように斜め方
向から見ることも可能である。この場合、物体11の姿勢
によっては対象パターンと参照パターンとが同図（Ａ）
のように合同とならないこともあるが、二つのパターン
の間に働く力の定性的な方向が保存されているので、重
ね合せできる。
真上になくてもよく、第４図（Ｂ）に示すように斜め方
向から見ることも可能である。この場合、物体11の姿勢
によっては対象パターンと参照パターンとが同図（Ａ）
のように合同とならないこともあるが、二つのパターン
の間に働く力の定性的な方向が保存されているので、重
ね合せできる。
第５図は本発明をロボットアームの誘導に利用した第
２実施例の構成を示す図である。カメラ１からモーメン
ト計算装置７までは第１実施例と同様のものである。12
は力計算装置５とモーメント計算装置７とにより計算し
た力とモーメントに応じてロボットアーム13を動かすべ
き方向を計算するロボットアーム制御装置である。14は
ロボットアーム13が物体11をつかむ所定の位置にある時
の物体11の参照パターンを生成し第２画像記憶装置６に
書き込む参照パターン発生装置である。なお、本実施例
の場合、カメラ１はロボットアーム13の先端に固定され
ている。
２実施例の構成を示す図である。カメラ１からモーメン
ト計算装置７までは第１実施例と同様のものである。12
は力計算装置５とモーメント計算装置７とにより計算し
た力とモーメントに応じてロボットアーム13を動かすべ
き方向を計算するロボットアーム制御装置である。14は
ロボットアーム13が物体11をつかむ所定の位置にある時
の物体11の参照パターンを生成し第２画像記憶装置６に
書き込む参照パターン発生装置である。なお、本実施例
の場合、カメラ１はロボットアーム13の先端に固定され
ている。
ロボットアーム13が物体11をつかもうとして近付いて
いる場合、参照パターン発生装置14は、ロボットアーム
13が物体11をつかむための所定の位置にあるときにカメ
ラから得られる物体の推定パターンを第２画像記憶装置
６に予め書き込んでおく。以下、第１実施例と同様の手
順で力とモーメントが計算されるが、本実施例では、こ
の力とモーメントにより第２画像記憶装置６の参照パタ
ーンを動かすかわりに、ロボットアーム13を動かし、カ
メラ画面上での物***置を変化させて重ね合せる。した
がって、重ね合せ処理が完了した時点でロボットアーム
13の先端は物体11をつかむ所定の位置に誘導されること
になる。
いる場合、参照パターン発生装置14は、ロボットアーム
13が物体11をつかむための所定の位置にあるときにカメ
ラから得られる物体の推定パターンを第２画像記憶装置
６に予め書き込んでおく。以下、第１実施例と同様の手
順で力とモーメントが計算されるが、本実施例では、こ
の力とモーメントにより第２画像記憶装置６の参照パタ
ーンを動かすかわりに、ロボットアーム13を動かし、カ
メラ画面上での物***置を変化させて重ね合せる。した
がって、重ね合せ処理が完了した時点でロボットアーム
13の先端は物体11をつかむ所定の位置に誘導されること
になる。
既に述べたように、本発明の重ね合せ処理では漸近的
に重ね合せを行なう。したがって、上記第２実施例にお
いて物体11がゆっくり移動しているような場合でも、そ
れを追跡してロボットアーム13の先端を所定の位置に誘
導できる。
に重ね合せを行なう。したがって、上記第２実施例にお
いて物体11がゆっくり移動しているような場合でも、そ
れを追跡してロボットアーム13の先端を所定の位置に誘
導できる。
第６図は本発明をカメラぶれ補正装置に利用した第３
実施例である。カメラ１から修正装置８までは第１実施
例と同様のものである。15はカメラ１の画像を修正装置
８が出力するdx,dy,dθと逆の方向に移動および回転さ
せて出力する画像ずらし装置である。16は第２画像記憶
装置６への画像の書き込みを制御するスイッチである。
17はモニタディスプレイである。
実施例である。カメラ１から修正装置８までは第１実施
例と同様のものである。15はカメラ１の画像を修正装置
８が出力するdx,dy,dθと逆の方向に移動および回転さ
せて出力する画像ずらし装置である。16は第２画像記憶
装置６への画像の書き込みを制御するスイッチである。
17はモニタディスプレイである。
初めに書込み制御スイッチ16を閉じて基準となる画像
の特徴パターンを第２画像記憶装置６に記憶する。その
後、書込み制御スイッチ16を開いておき、カメラ１から
入力される画像に対して第１実施例と同様の手順により
力とモーメントを計算する。この力とモーメントにより
画像ずらし装置15を用いてカメラ１の画像を移動および
回転させて特徴パターン計算装置２が生成する対象パタ
ーンと第２画像記憶装置６の参照パターンとを重ね合せ
る。これによりモニタ７に映る画像はカメラ１が揺れて
も第２画像記憶装置６に記憶した基準画像の位置に固定
して見える。
の特徴パターンを第２画像記憶装置６に記憶する。その
後、書込み制御スイッチ16を開いておき、カメラ１から
入力される画像に対して第１実施例と同様の手順により
力とモーメントを計算する。この力とモーメントにより
画像ずらし装置15を用いてカメラ１の画像を移動および
回転させて特徴パターン計算装置２が生成する対象パタ
ーンと第２画像記憶装置６の参照パターンとを重ね合せ
る。これによりモニタ７に映る画像はカメラ１が揺れて
も第２画像記憶装置６に記憶した基準画像の位置に固定
して見える。
本発明の重ね合せ方式では、参照パターンと対象パタ
ーンの各部に働く力の合力の方向により、重ね合せるた
めの移動方向を決定するので、対象パターンの欠落やノ
イズに対して強い重ね合せを実現できる。
ーンの各部に働く力の合力の方向により、重ね合せるた
めの移動方向を決定するので、対象パターンの欠落やノ
イズに対して強い重ね合せを実現できる。
本発明の重ね合せ処理は、その各処理を同時進行的に
行ない、しかも処理の大半を簡単な加減算によって近似
でき、処理の高速化が容易である。
行ない、しかも処理の大半を簡単な加減算によって近似
でき、処理の高速化が容易である。
本発明では、モーメントを考えることにより対象パタ
ーンと参照パターンの間に回転によるずれがある場合に
も対処できる。したがって、移動ロボットの誘導のみで
はなく、広く一般的な重ね合せ処理に対処することが可
能となる。また、パターンに働く力の定性的方向が保存
されていれば、対象パターンと参照パターンが位置姿勢
のずれによって合同でなくなるような場合にも利用でき
る。すなわち、従来のテンプレートマッチングとは異な
り、重ね合せるべき参照パターンが処理の進行とともに
変形するような重ね合せも実行できる。
ーンと参照パターンの間に回転によるずれがある場合に
も対処できる。したがって、移動ロボットの誘導のみで
はなく、広く一般的な重ね合せ処理に対処することが可
能となる。また、パターンに働く力の定性的方向が保存
されていれば、対象パターンと参照パターンが位置姿勢
のずれによって合同でなくなるような場合にも利用でき
る。すなわち、従来のテンプレートマッチングとは異な
り、重ね合せるべき参照パターンが処理の進行とともに
変形するような重ね合せも実行できる。
第１図は本発明による画像処理装置の第１実施例の構成
を示す図、第２図は本発明に用いる重ね合せの原理を説
明する図、第３図はモーメントの近似計算方法を説明す
る図、第４図は対象物とカメラのと位置関係を説明する
図、第５図はロボットアームの誘導に利用した本発明に
よる画像処理装置の第２実施例の構成を示す図、第６図
はカメラぶれ補正装置に利用した本発明による画像処理
装置の第３実施例の構成を示す図である。 １……カメラ、２……特徴パターン計算装置、３……ポ
テンシャル計算装置、４……第１画像記憶装置、５……
力計算装置、６……第２画像記憶装置、７……モーメン
ト計算装置、８……修正装置、９……パターン情報記憶
装置、10……参照パターン生成装置、11……物体、12…
…ロボットアーム制御装置、13……ロボットアーム、14
……参照パターン発生装置、15……画像ずらし装置、16
……書込み制御スイッチ、17……モニタ。
を示す図、第２図は本発明に用いる重ね合せの原理を説
明する図、第３図はモーメントの近似計算方法を説明す
る図、第４図は対象物とカメラのと位置関係を説明する
図、第５図はロボットアームの誘導に利用した本発明に
よる画像処理装置の第２実施例の構成を示す図、第６図
はカメラぶれ補正装置に利用した本発明による画像処理
装置の第３実施例の構成を示す図である。 １……カメラ、２……特徴パターン計算装置、３……ポ
テンシャル計算装置、４……第１画像記憶装置、５……
力計算装置、６……第２画像記憶装置、７……モーメン
ト計算装置、８……修正装置、９……パターン情報記憶
装置、10……参照パターン生成装置、11……物体、12…
…ロボットアーム制御装置、13……ロボットアーム、14
……参照パターン発生装置、15……画像ずらし装置、16
……書込み制御スイッチ、17……モニタ。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭61−182390（ＪＰ，Ａ) 特開 昭60−84669（ＪＰ，Ａ) 日本ロボット学会誌，1987年，第５ 巻，第５号，ｐ．343−350
Claims (7)
- 【請求項１】画像の対象パターンと参照パターンとを重
ね合せる画像処理装置において、 前記対象パターンに基づくポテンシャル場を計算するポ
テンシャル計算装置と、 前記参照パターンを記憶する記憶処理装置と、 前記ポテンシャル計算装置の出力と前記画像記憶装置に
記憶された参照パターンとにより前記画像の縦および横
方向に働く力の合力を計算する力計算装置と、 前記ポテンシャル計算装置の出力と前記画像記憶装置に
記憶された参照パターンとにより前記画像を回転させる
モーメントの合力を計算するモーメント計算装置と、 前記縦および横方向の合力並びに前記モーメントの合力
に基づき前記参照パターンと前記対象パターンとのずれ
を修正する手段と を含むことを特徴とする画像処理装置。 - 【請求項２】請求項１に記載の画像処理装置において、 前記ずれ修正手段が、前記特徴パターンに対応した参照
パターンを与えられた位置に応じて生成する参照パター
ン生成装置と、前記参照パターンを生成するための形状
および位置データを記憶するパターン情報記憶装置と、
上記縦および横方向の力並びにモーメントの方向に前記
パターン情報記憶装置中の位置データを書き換えさせる
修正装置とからなることを特徴とする画像処理装置。 - 【請求項３】誘導対象物に固定されたカメラ等の入力機
器から取り込まれた画像の対象パターンと参照パターン
とを重ね合せ、前記誘導物を所定の位置に誘導する画像
処理装置において、 前記対象パターンに基づくポテンシャル場を計算するポ
テンシャル計算装置と、 前記参照パターンを記憶する画像記憶装置と、 前記ポテンシャル計算装置の出力と前記画像記憶装置に
記憶された参照パターンとにより前記画像の縦および横
方向に働く力の合力を計算する力計算装置と、 前記ポテンシャル計算装置の出力と前記画像記憶装置に
記憶された参照パターンとにより前記画像を回転させる
モーメントの合力を計算するモーメント計算装置と、 前記縦および横方向の合力並びに前記モーメントの合力
に基づき前記誘導対象物を移動させ前記参照パターンと
前記対象パターンとのずれを修正する手段と を含むことを特徴とする画像処理装置。 - 【請求項４】カメラ等の入力機器から取り込まれた画像
の対象パターンと参照パターンとを重ね合せ、カメラ等
のぶれを解消する画像処理装置において、 前記対象パターンに基づくポテンシャル場を計算するポ
テンシャル計算装置と、 前記カメラ等から最初に取り込まれた画像を前記参照パ
ターンとして記憶する画像記憶装置と、 前記ポテンシャル計算装置の出力と前記画像記憶装置に
記憶された参照パターンとにより前記画像の縦および横
方向に働く力の合力を計算する力計算装置と、 前記ポテンシャル計算装置の出力と前記画像記憶装置に
記憶された参照パターンとにより前記画像を回転させる
モーメントの合力を計算するモーメント計算装置と、 前記縦および横方向の合力並びに前記モーメントの合力
に基づき前記カメラ等から新たに取り込まれる画像をず
らす画像ずらし装置と を含むことを特徴とする画像処理装置。 - 【請求項５】請求項１〜４のいずれか一項に記載の画像
処理装置において、 前記カメラ等の入力機器から入力された濃淡画像から当
該画像の特徴パターンを計算し前記ポテンシャル計算装
置に出力する特殊パターン計算装置を備えたことを特徴
とする画像処理装置。 - 【請求項６】請求項１〜５のいずれか一項に記載の画像
処理装置において、 前記ポテンシャル計算装置が、当該計算結果を記憶する
第２の画像処理装置を備え、第２の画像記憶装置との間
のループを用いて差分法によりポテンシャル場を計算す
る装置であることを特徴とする画像処理装置。 - 【請求項７】請求項１〜６のいずれか一項に記載の画像
処理装置において、 前記モーメント計算装置が、前記画像領域を複数の領域
に分割し、各領域で合計した縦および横方向の力を加減
算し、前記モーメントを近似演算する装置であることを
特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29193788A JP2700260B2 (ja) | 1988-11-18 | 1988-11-18 | 画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29193788A JP2700260B2 (ja) | 1988-11-18 | 1988-11-18 | 画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02137072A JPH02137072A (ja) | 1990-05-25 |
| JP2700260B2 true JP2700260B2 (ja) | 1998-01-19 |
Family
ID=17775386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29193788A Expired - Lifetime JP2700260B2 (ja) | 1988-11-18 | 1988-11-18 | 画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2700260B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06344279A (ja) * | 1993-06-07 | 1994-12-20 | Hitachi Ltd | 遠隔作業装置及び方法 |
| US5459636A (en) * | 1994-01-14 | 1995-10-17 | Hughes Aircraft Company | Position and orientation estimation neural network system and method |
| JP3350745B2 (ja) * | 1994-08-17 | 2002-11-25 | 株式会社日立製作所 | 画像計測装置 |
| US8098926B2 (en) * | 2007-01-10 | 2012-01-17 | Applied Materials Israel, Ltd. | Method and system for evaluating an evaluated pattern of a mask |
| CN115236850B (zh) * | 2021-04-23 | 2024-03-15 | 成都极米科技股份有限公司 | 一种控制振镜实现2倍和4倍像素点提升的方法及投影仪 |
-
1988
- 1988-11-18 JP JP29193788A patent/JP2700260B2/ja not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| 日本ロボット学会誌，１９８７年，第５巻，第５号，ｐ．３４３−３５０ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH02137072A (ja) | 1990-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230252670A1 (en) | Method for detecting hand key points, method for recognizing gesture, and related devices | |
| Hager et al. | Efficient region tracking with parametric models of geometry and illumination | |
| Hager et al. | X vision: A portable substrate for real-time vision applications | |
| US8917240B2 (en) | Virtual desktop coordinate transformation | |
| US5644689A (en) | Arbitrary viewpoint three-dimensional imaging method using compressed voxel data constructed by a directed search of voxel data representing an image of an object and an arbitrary viewpoint | |
| US6016148A (en) | Automated mapping of facial images to animation wireframes topologies | |
| JPH0689342A (ja) | 動画像処理装置 | |
| CN108062776A (zh) | 相机姿态跟踪方法和装置 | |
| JPH0772844B2 (ja) | ロボット教示装置 | |
| CN112001859B (zh) | 一种人脸图像的修复方法及*** | |
| Rives | Visual servoing based on epipolar geometry | |
| JPS6016673B2 (ja) | サ−ボ系における被検体認識装置 | |
| Triesch et al. | Robotic gesture recognition | |
| JPH05290146A (ja) | 三次元空間中の物体を回転させるグラフィック表示方法及び装置 | |
| US11562489B2 (en) | Pixel-wise hand segmentation of multi-modal hand activity video dataset | |
| JP2986455B1 (ja) | 手振り認識装置 | |
| Jurie et al. | Real time 3d template matching | |
| Lee et al. | Point-and-shoot for ubiquitous tagging on mobile phones | |
| JP2700260B2 (ja) | 画像処理装置 | |
| JP2000331170A (ja) | 手振り認識装置 | |
| CN114505864A (zh) | 一种手眼标定方法、装置、设备及存储介质 | |
| Malm et al. | A new approach to hand-eye calibration | |
| Ogawara et al. | Grasp recognition using a 3D articulated model and infrared images | |
| Sullivan et al. | Using active-deformable models to track deformable objects in robotic visual servoing experiments | |
| Lim et al. | Resolution consideration in spatially variant sensors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081003 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091003 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091003 Year of fee payment: 12 |