JPH09189513A - マーカ重心計測方法および装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 ターゲットを用いて物品の３次元位置を認識
するターゲット重心計測方法において、検出が容易で重
心計測も容易なマーカ形状を有するターゲットとその検
出・計測方法を提供する。 【解決手段】 ２次元画像７０中に適当な大きさのウイ
ンドウ７１をセットし、ウインドウ７１内に現れる図形
を明度に従って２値化し、膨張圧縮処理および圧縮膨張
処理により整理して残った図形７２、７３、７４を区分
してラベル付けし、ラベル付けした各図形の情報を演算
装置に取り込んで外接長方形７５、７６、７７を求め、
求めた外接長方形の各辺の中点を結んだ菱形を作り、テ
ンプレートとして元の図形を重ねて、両者の合致度合い
に基づいて対象図形が菱形かどうかを判断してターゲッ
トと判定した図形７２の重心を求め、視野の中心をその
重心位置に移動することにより、装置が対象物を捕捉し
て測定できるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、物品に付与された
ターゲットマーカを画像処理技術を用いて検出しマーカ
の重心位置に基づいて物品の位置や寸法を測定したり、
自動追尾したりするマーカ重心計測方法に関し、特にタ
ーゲットマーカの形状の改良に関する。

【０００２】

【従来の技術】大型構造物の施工をする場合は、工場で
製造した構造躯体や型枠などを建設現場で構築したり建
築現場で組み立てる前に、製造した工場内で仮に組み立
てて出来上がり精度を確認している。工場内で組み立て
て寸法許容範囲内にあることが確認された構造躯体等は
一且解体して現場に運搬し、再度組み立てられる。この
ような手順は手直しや再手配ができる工場側で良否を確
認する必要から省く訳にはいかないが、組立解体がコス
トや工期を圧迫するため、省略する方策が望まれてい
た。

【０００３】ところで、構造躯体等の所定部位の表面寸
法が正確に測定できれば、これら測定結果を用い計算機
の支援によりこれらを組み立てたときの形状が精度良く
求められ、設計通りの構造物になるか否かは十分正確に
把握することができる。本願出願人は既に、平成７年特
許願第３９１９８号明細書で、例えば橋梁を構成する長
尺鈑桁や箱桁の所定の計測部位を自動的に測定して３次
元座標値を得る装置と方法について開示している。

【０００４】この方法は、ズームレンズ付き画像取り込
み用ＣＣＤカメラと赤外線パルスディスプレイ式光波測
距計を用い、プログラムに従ってＣＣＤカメラで鈑桁の
各部位に着脱可能に取り付けた標的あるいは計測ターゲ
ットを順次撮像して画像処理し、標的の中心に向くよう
にすることにより標的の方向を決め、光波測距計が標的
までの距離を正確に測定することにより、標的の３次元
位置を測定する。このデータから鈑桁の表面形状を正確
に測定することができる。こうして得られる被測定部材
の所定部位の３次元座標値から設計値との誤差を算出
し、組み立て後の形状を推計して設計上の許容範囲に収
まるか否かを判断することができる。従って従来とは異
なり実際に組み立てなくても結果が判断できるから、工
場内での組立解体の工程を省略して製造コストが低減し
工期が短縮できる。

【０００５】上記の測定を自動的に行うためには、順序
に従って正確に計測ターゲットを抽出しその中心位置に
自動的に照準できるようにする必要があり、計測ターゲ
ットとしてどのようなものを用いるかが問題である。平
成７年特許願第３９１９８号明細書により開示された方
法では、計測ターゲットとして白色の表示板面にカラー
画像取り込み用の赤色のリング状の表示部と該リング状
表示部の内側に正方形状の再帰性反射板部を設けたもの
によって構成されていた。マーカを赤色にしてカラー画
像を用いて測定するのは、通常は工場内に現出しにくい
色彩を付すことにより計測ターゲットの誤検出を防止し
ようとしたものである。

【０００６】ＣＣＤカメラにより計測ターゲットを含む
被測定部材のカラー画像を取り込んで、計測ターゲット
までの距離に依存する画像処理範囲内で赤色のみを対象
とした画像処理を行い、その重心位置を求めることによ
り、光波測距計の光軸が計測ターゲットの中心に一致す
るように照準して正確な距離を測定する。

【０００７】被測定物の表面部位の３次元座標値を正確
に求める装置は、上記のように建造物の構成部材の事前
検査用組立解体を回避するためばかりでなく、工場内で
機械・装置による自動搬送、自動アクセス、自動加工等
を可能にするために、機械・装置がワークの対象となる
ものを自動的に認識してその対象に近づいたりその物を
掴んで加工したりすることができるようにする場合など
にも利用することができる。この場合にも、機械・装置
が対象とする物の形状は多様であり、これらを自動認識
するためには極めて高度な画像認識能力を備えなければ
ならないから、予め検出しやすく加工した計測ターゲッ
トを対象物に付設して、その計測ターゲットの特徴を頼
りに物品の位置や寸法、姿勢を認識する方法が用いられ
る。

【０００８】一般に、計測ターゲットを用いて物品の３
次元位置を認識する方法において、画像処理で計測ター
ゲットを認識し物品の自動追尾を行うためには、第１に
計測ターゲットの検出、第２に計測ターゲットの重心計
測が必要とされる。従来、計測ターゲットとして単純な
円形マーカや正方形マーカを用い、ＣＣＤカメラ等で撮
影した画像を画像処理して対象のマーカを抽出し、抽出
したマーカの重心位置を算定する方法が良く用いられて
いた。このような画像処理でマーカを抽出する方法で
は、計測ターゲット以外のものが視野に入ると検出が困
難になるため、背景に余計なものが写らないようにした
り高度な画像処理技術を援用するなど、かなりの制約が
生じるので適用できる場合が制限されていた。

【０００９】視野内に計測ターゲット以外のものが入る
場合には、それらと区別しやすい形状のマーカを用いて
パターンマッチングの手法によりマーカの検出を行う方
法も用いられる。パターンマッチング手法を用いる場合
は、パターン計測点に付設するマーカの形状として、マ
ッチングを取るのが簡単で重心の計算が比較的容易な円
形が好ましい。

【００１０】しかし、工場内ではボルト穴や丸棒、パイ
プの断面など円形のものが数多く存在する。このためマ
ーカの誤検出が多発することになる。誤検出を防ぐため
マーカの形状を複雑にすると、画像処理の負担が大きく
なる。また、マーカ形状が複雑であれば計測ターゲット
までの距離や見る角度が変わると形状認識に失敗して検
出自体が行えない場合が生じ易い。

【００１１】

【発明が解決しようとする課題】そこで、本発明が解決
しようとする課題は、工場内の種々の形状にも紛れにく
く距離や向きにも左右されにくく、しかも検出が容易で
重心計測も容易なマーカ形状を有する計測ターゲットと
その検出・計測方法を提供することである。

【００１２】

【課題を解決するための手段】上記課題を解決するた
め、本発明のマーカ重心計測方法は、２本の対角線がそ
れぞれほぼ鉛直と水平になる平行四辺形、すなわち略菱
形、のマーカを表した計測ターゲットを物品に付設し、
これを含む画像を撮像し、画像処理技術により計測ター
ゲットに表されたマーカを抽出し、マーカ重心位置を求
めることにより物品の位置を計測することを特徴とす
る。なお、計測ターゲットを物品に付設する方法として
は、物品自体や物品に特設された部材に直接塗装する方
法、マグネットにより固定する方法、接着剤で貼付する
方法等各種のものが利用できる。

【００１３】また、本発明第２のマーカ重心計測方法
は、撮像装置で撮影した画像中にある図形についてほぼ
水平に置かれた外接長方形を算出し、その外接長方形の
各辺の中点を取りこれら中点を結んだ四角形と先の図形
のマッチング度を算出して最もマッチしているものをタ
ーゲットマーカとすることを特徴とする。

【００１４】なお、本発明第２のマーカ重心計測方法
は、さらにターゲットマーカの画像に属する画素の水平
方向の最多頻度位置と垂直方向の最多頻度位置とからマ
ーカの重心位置を算出することを特徴とするものであっ
てもよい。

【００１５】さらに、本発明第３のマーカ重心計測方法
は、撮像装置で撮影した画像にウインドウを設定し、ウ
インドウ中の画像を明度に基づいて２値化して２値化画
像を得て、その２値化画像を膨張圧縮処理およびまたは
圧縮膨張処理により整形し図形を抽出してラベリング
し、ラベリングされた図形についてほぼ水平に置いた外
接長方形を算定し、その外接長方形の各辺の中点を頂点
とする四角形とラベリングされた図形とが最もマッチし
ているものをターゲットマーカと判定した上、ターゲッ
トマーカの画像に属する画素の水平方向の最多頻度位置
と垂直方向の最多頻度位置とからマーカの重心位置を算
出することを特徴とする。

【００１６】なお、上記第２と第３のマーカ重心計測方
法は、物品に略菱形のマーカを表した計測ターゲットを
物品に付設しておき、これを含む画像を取得するように
することが好ましい。

【００１７】上記課題を解決するため、本発明のマーカ
重心計測装置は、撮像装置とモニタと画像入出力装置と
画像処理装置と演算装置とを備え、撮像装置がマーカを
含む画像を撮像してアナログ出力し、画像入出力装置が
撮像装置のアナログ出力を入力しデジタル化した２次元
画像信号として記憶し、その２次元画像信号を画像処理
装置および演算装置に送出し、かつ画像処理装置におい
て処理された画像信号を入力して記憶し、画像処理装置
が画像入出力装置から２次元画像信号を入力し画像処理
して画像中の図形を抽出しラベリングして記憶し、記憶
された画像信号を画像入出力装置と演算装置に出力し、
演算装置がラベリングされた画像信号を処理して画像中
の図形毎に１辺が水平な外接長方形を生成し、その外接
長方形の各辺の中点を結んだ４角形を算出して画像信号
が表すマーカとの一致度合いに基づいて対象ターゲット
の判定を行い、モニタが前記画像入出力装置が記憶する
映像信号を入力して画像表示することを特徴とする。

【００１８】また、演算装置がさらに、対象ターゲット
と判定されたマーカを表す画像信号の信号状態について
水平軸方向と垂直軸方向の頻度分布を算定し頻度が最も
大きい位置を基準としてマーカの重心を算出し、マーカ
重心位置が画像の中央に来るように移動するようにして
もよい。

【００１９】なお、マーカ重心計測装置において、菱形
のマーカを表した計測ターゲットを物品に付設してお
き、これを含む画像を取得するようにすることが好まし
い。マーカ重心計測装置は、さらに照明装置を光軸が撮
像装置の光軸に近接するように備え、かつ菱形マーカが
再帰反射機能を有するようにすることがより好ましい。
このように構成して、照明装置でマーカを照射しながら
撮像装置で計測ターゲットを含む画像を取得するように
することができる。

【００２０】従来マーカとしてよく用いられる形状は単
純な円形と正方形であるが、これらは工作物の外形、穴
形状、パイプ断面、あるいは棚、引き出し、工具箱な
ど、工場内で極く一般的に見られる形状であるため、計
測ターゲットとして用いると画像の背景に現れて誤検出
の原因となり易い。

【００２１】ところが、同じように単純な形状であるに
も拘わらず、菱形は一般的でない形状であるため、菱形
マーカを用いた計測ターゲットを使用すると背景に同様
の形状が出現しにくく計測ターゲットを誤検出する確率
が顕著に低下する。

【００２２】また、菱形マーカを表した計測ターゲット
を用いれば、パターンマッチングが容易で、しかも菱形
の相似形状をテンプレートとして判定することにより、
計測ターゲットとの相対的な位置変化にも影響を受けず
に正確な判定が可能になる。

【００２３】特に、画面中の図形についてそれぞれ水平
に置いた外接長方形をとり、この長方形の各辺の中点を
取って結ぶことにより、容易にテンプレートとなる菱形
を得ることができる。外接長方形の元になる図形とこの
テンプレート菱形とを比較してその合致度を算出するこ
とにより、容易に元の図形が菱形か否かが判定できる。
ここで図形が菱形であれば、工場現場に始めから存在し
ていた物でなく計測ターゲットとして物品に人為的に付
設した物である可能性が高いので、対象ターゲットと判
断して良い。

【００２４】また、適当な明度を閾値として画像を２値
化して得られる菱形マーカの図形について、その重心位
置を求めることは簡単である。すなわち、菱形マーカ部
分の値を水平方向に加えて垂直軸に投影した時に最大値
を有するところが菱形マーカの重心の垂直位置を表し、
垂直方向に加えて水平軸に投影したときの最大値の位置
が菱形マーカの重心の水平位置を表す。従って、菱形マ
ーカの重心位置は、上記最大値の垂直座標と最大値の水
平座標により容易に与えられることになる。

【００２５】しかし、測定上の誤差が存在しうる場合
は、対象とする図形中の各画素についてそれらの水平座
標値を全て加算した上で画素数で割り平均値を求めて重
心位置の水平座標値とし、各画素の垂直座標値の平均値
を取って重心位置の垂直座標値にすることにより、誤差
の影響を緩和することができる。なお、上記の方法はマ
ーカが円形であっても正方形であっても適用することが
できるが、菱形であれば重心検出精度が著しく向上する
のである。

【００２６】

【発明の実施の形態】本発明のマーカ重心計測方法およ
び装置を、実施例を用いて詳細に説明する。図１は本発
明のマーカ重心計測方法におけるアルゴリズムを説明す
る図面である。画像は明度について適当な閾値を用いて
２値化した後、圧縮膨張処理等の適当な画像処理を施
し、まとまった図形毎にラベル付けする。ついで、各独
立図形毎に外接長方形を算定する。この長方形の辺は水
平線と垂直線で形成される。

【００２７】図１（ａ）において、１は２値化の後ラベ
ル付けされた菱形のマーカの画像である。２はマーカ１
の外接長方形である。外接長方形２の各辺の中点を取り
これらを結んで四辺形３を形成する。この四辺形３は菱
形でありテンプレートとして使用される。マーカ１の
内、テンプレート四辺形３の内部にある部分の各画素に
１を付し、外部にある部分の画素に０を付す。０を付し
た部分の面積すなわち画素数と１を付した部分の面積す
なわち画素数を比較する。例えば、菱形マーカ１が正確
な菱形を有し２本の対角線が正確に水平および垂直にな
るように置かれていれば、上記テンプレート四辺形２と
菱形マーカ１は完全に一致するので画像中には０の部分
が現れない。そこで菱形マーカ１を有する計測ターゲッ
トは目的のターゲットであることが分かる。

【００２８】なお、計測ターゲットもしくはカメラが正
しい姿勢から若干ずれている場合は０の領域が僅かに現
れるようになるが、１の部分の領域と比較すると小さ
い。従って、０の領域と１の領域の比が適当に決めた閾
値を越えない場合を計測ターゲットと判断することによ
り、より実際的な判定をすることができる。

【００２９】さらに、種々の状況に対処できるようにす
るため、ラベル付け図形のうち上記外接長方形２の内部
でありテンプレート四辺形３の外部である外部領域には
み出た部分とテンプレート四辺形３の内部の領域であっ
てラベル付け図形が存在しない部分を加えた面積を外接
長方形２の面積で規格化した値を図形と菱形との合致度
の指標として用いることができる。このようにして算出
された指標ならば、計測対象までの距離が大きくて図形
の画像が小さくなっても向きがずれていても、相対的な
合致度が求められるので正しい判断を下すことが可能で
ある。

【００３０】例えば、図１（ｂ）のように、対象図形が
三角形４である場合にも外接長方形２が上記と同様に形
成されるが、対象図形のうち外接長方形２の各辺の中点
を結んで形成されるテンプレート四辺形３の外部領域に
ある部分が相対的に大きくなるので、対象図形は菱形で
なく従って計測ターゲットではないことが分かる。

【００３１】また、図１（ｃ）のように、対象図形がち
ょっと歪んだ正方形５である場合にも、同様に、テンプ
レート四辺形３の外部領域にある部分が大きくなり、対
象図形が計測ターゲットではないことが分かる。

【００３２】またさらに、図１（ｄ）のように、対象図
形が円形６である場合にも、テンプレート四辺形３の外
部領域にある部分が外接長方形２の面積に対して所定の
閾値を越えるので、対象図形が計測ターゲットではない
ことが分かる。上記、テンプレート四辺形３の外部領域
にある部分と内部領域にある部分の関係は計測ターゲッ
トとカメラの位置関係にあまり影響を受けない。

【００３３】図２は、計測ターゲットとカメラの位置に
より計測ターゲットの画像が変化する様子を説明する図
面である。図２（ａ）は、計測ターゲットが近距離にあ
る場合の画像である。計測ターゲットの画像７はＣＣＤ
カメラにより拡大した菱形の図形として取得される。し
かし、計測ターゲット画像７の外接長方形２をとり、そ
の長方形２の各辺の中点を結んでテンプレート四辺形３
を形成すると、このテンプレート四辺形３は計測ターゲ
ット画像７と一致して上記の０の領域が殆ど無く、何の
困難もなく対象とする菱形マーカであることが分かる。

【００３４】一方、図２（ｂ）は、計測ターゲットが遠
方にある場合の画像である。計測ターゲットの画像８は
小さい菱形図形となる。これも、計測ターゲット画像８
の外接長方形２をとり、各辺の中点を結んでテンプレー
ト四辺形３を形成すると、このテンプレート四辺形３は
計測ターゲット画像８と一致するので対象とする菱形マ
ーカであることが分かる。このように、計測ターゲット
とカメラの距離によっては判定に差異が生じない。

【００３５】また、図２（ｃ）は、計測ターゲットがカ
メラに対して横斜めに位置している場合の画像である。
計測ターゲットの画像９はＣＣＤカメラにより縦長の菱
形図形として取得される。しかし、計測ターゲット画像
９の外接長方形２をとり、その長方形２の各辺の中点を
結んでテンプレート四辺形３を形成すると、このテンプ
レート四辺形３は計測ターゲット画像７と一致するの
で、何の困難もなく対象とする菱形マーカであることが
分かる。

【００３６】一方、図２（ｄ）は、計測ターゲットがカ
メラに対してたて斜めに位置している場合の画像であ
る。計測ターゲットの画像１０は横長の菱形図形とな
る。これも、計測ターゲット画像１０の外接長方形２を
とり、各辺の中点を結んでテンプレート四辺形３を形成
すると、このテンプレート四辺形３は計測ターゲット画
像１０と一致するので対象とする菱形マーカであること
が分かる。このように、カメラが計測ターゲットの正面
に向いていなくても正しく判定することができる。

【００３７】図３は本発明のマーカ重心計測方法におけ
るマーカの重心位置を計測する方法の利点を説明する図
面である。図３（ａ）は２値化して画素が１の値を有す
る菱形図形について縦軸方向に値を積算した時の頻度分
布を見た図面である。菱形図形の姿勢が正確に垂直を向
いているときは画素の値の頻度分布１１は鋭いピークＰ
を持つ三角形になる。菱形図形の重心はこのピークの横
軸座標位置に存在する。

【００３８】同じことを横軸方向についても行えば、得
られる頻度分布のピーク位置が菱形図形重心の縦軸座標
位置であるから、上記ピーク位置の交点、すなわち重心
の縦軸座標と横軸座標が表す位置を重心位置と判定する
ことができる。実際には、画像中に現れる各種のノイズ
を考慮し、上記の通り２値化した後１の値を有する各画
素の座標値を全て加え画素数で除して求めた平均値を上
記座標値として用いている。上記の平均化により統計的
ノイズが相殺され、また突発的なノイズによる影響が消
去されて、求めた値がより真の値に近くなるという利点
がある。

【００３９】一方、ターゲットマーカが水平の辺を有す
る正方形である場合は、値が１である画素の頻度分布の
形は図３（ｂ）にあるように上辺が平らな四辺形１２と
なりピークが現れないため、上記のような頻度分布のピ
ーク位置から重心を求める方法は適用できない。また、
円形の場合は図３（ｃ）にあるようにピークが緩やかな
弧を描く半長円形１３となり、このような分布形状を解
析して重心位置を求めるのでは検出位置の精度が高くな
らない。

【００４０】図４は上記の原理を利用してマーカの重心
位置を計測する様子を表現した図面である。２値化して
画素の値が１となっているマーカ１の図形について縦軸
方向に画素値を積算するとピークＰｘを有する頻度分布
１４が得られる。同じことを横軸方向に実施するとピー
クＰｙを有する頻度分布１５が得られ、座標Ｏ（Ｐｘ、
Ｐｙ）がマーカ１の重心位置の座標となることが分か
る。上記のような簡単な方法により正確に重心位置を求
めることができるのは、菱形マーカを採用することによ
り生じる利点である。

【００４１】以上のように、菱形マーカを利用する本発
明のマーカ重心計測方法によれば、環境中に紛らわしい
図形が少なく簡単な手法で的確に判定できるためマーカ
の誤検出が減少し、中心位置に鋭いピークが現れる方法
で検出するのでマーカ重心の検出精度が向上し、かつマ
ーカとカメラの位置関係が変わっても処理方法を変える
必要がないため、計測ターゲットの自動追跡等、工場現
場に使用する上で極めて有効である。

【００４２】以下、本発明のマーカ重心計測方法および
装置について、実施例を用いてより具体的に説明する。

【００４３】

【実施例】図５は本発明のマーカ重心計測装置の一実施
例における構成を示すブロック図である。図６はマーカ
重心計測装置に用いる撮像装置の位置決め装置の機能に
ついて説明する図面である。図７はマーカ重心計測装置
が実施する画像処理方法を段階的に説明する図面であ
る。図において、２１は撮像装置としてのＣＣＤカメ
ラ、２２はモニタ、３０は画像入出力装置、４０は画像
処理装置、５０は演算装置、６０はＣＣＤカメラ２１の
ための位置決め装置である。画像入出力装置３０はアナ
ログ入力部３１、アナログ出力部３２、記憶部３３、デ
ジタル入力部３４およびデジタル出力部３５を有する。
また画像処理装置４０はデジタル出力部４１、デジタル
入力部４２、記憶部４３、演算部４４を有する。さらに
演算装置５０は演算部５１と記憶部５２を備える。

【００４４】本実施例のマーカ重心計測装置によれば、
菱形のマークを表した計測ターゲットを機械装置が作用
しようとする対象物に予め付設しておき、ＣＣＤカメラ
２１が取得する画像を画像入出力装置３０を介して取り
込み、画像処理装置４０と演算装置５０の働きにより画
像中に含まれる計測ターゲットの菱形マークを抽出する
ことにより対象物の存在を認識して、抽出された菱形マ
ークの重心を測定することにより対象物の方位を知るこ
とができる。このようにして求めた菱形マーク１の重心
位置がカメラ２１の視野の中心に来るようにすれば、位
置決め装置６０を介して自動的に撮像装置２１や機械装
置自体の向きを対象物に合わせるようにすることもでき
る。

【００４５】まず、ＣＣＤカメラ２１で画素毎に感応し
て取得された２次元画像は、画像入出力装置３０のアナ
ログ入力部３１に送られてデジタル信号に変換され２次
元画像信号として記憶部３３に収納される。モニタ２２
は、画像入出力装置３０の記憶部３３にデジタル信号と
して格納されている画像情報をアナログ出力部３２でア
ナログ信号化して表示することができる。従って、ＣＣ
Ｄカメラ２１が取得して記憶部３３に記憶された２次元
画像は、アナログ出力部３２を介してモニタ２２に表示
することができる。このように、オペレータはモニタ２
２を通してＣＣＤカメラ２１で撮像した生の映像を観察
することができる。

【００４６】画像入出力装置３０の記意部３３に記憶さ
れた２次元画像信号は画像入出力装置３０のデジタル出
力部３５を介して画像処理装置４０に送られる。画像処
理装置４０はデジタル入力部４２を介して２次元画像信
号を受け取って記憶部４３に一旦格納し、必要な部分を
読み出しては画像処理を施す。

【００４７】図６（ａ）は画像処理の第１の段階におけ
る画像を表わした図面である。図６（ａ）に示すよう
に、画像処理の第１段階は、ＣＣＤカメラ２１が取得し
た２次元画像７０中に適当な大きさのウインドウ７１を
セットすることである。ウインドウ７１の内部に画像処
理を限ることにより必要とする演算処理資源を適正な規
模のものとし、また画像周縁部の余分な映像雑音に悩ま
されないようにすることができる。

【００４８】測定対象の計測ターゲットの配置が決まっ
ており測定順が定められている場合には測定装置が計測
ターゲット１までの距離を予め知っており、計測ターゲ
ット１の大きさと計測ターゲットまでの距離に応じて画
面中の計測ターゲットの画像の大きさが予測できるか
ら、適正なウインドウ７１の大きさは予測される計測タ
ーゲット画像の大きさに基づいて決めることができる。
視野に複数の計測ターゲットが存在する場合には、ウイ
ンドウ７１内に目的とする１個の計測ターゲットしか含
まれないように処理することが好ましい。このためには
計測ターゲットを適正に配置しておく必要もある。

【００４９】図６（ｂ）は画像処理の第２の段階におけ
る画像を表わした図面である。画像処理の第２段階で
は、図６（ｂ）に示すように、比較的簡単な画像処理手
法によりウインドウ７１内の画像を整理して、複雑な処
理を施す対象を絞るようにする。初めに明度に従って２
値化する。マーカはマイクロコーナキューブレフレクタ
やガラスの小球を利用した反射マークで形成され、入射
した照明光をあまり減衰させずにその入射方向に反射す
る。従って、ＣＣＤカメラの近傍に照明装置を備えて、
ＣＣＤカメラの光軸に近いところから照明を当てながら
マーカを含む部分を撮像すると、画像中に反射マークが
他の部分より明るく写っている。このような照明下でＣ
ＣＤカメラにより取得した画像について、適当な閾値を
用いて２値化することにより、ターゲットマーカを周囲
に存在する輝度の低い物品の画像と明確に分離すること
ができる。

【００５０】しかし、周囲に輝度の高い物体が存在した
り構造物の角などで強い反射光が生じたりすると、２値
化画像にターゲットマーカ以外の点状や線状の光点が残
存してノイズとなる。また、反射マークの明るさにむら
があると２値化処理により図形中に欠ける部分が生じる
ことがある。図形中に存在する欠けた部分は、膨張圧縮
処理により補填復元することができる。すなわち、図形
を一定の幅だけ膨張させると図形内部の穴や輪郭に存在
した小さな凹陥部が埋まりその後に同じ量だけ圧縮する
と、欠けた部分が埋まった元の形状に近い図形になる。
一方、２値化によっても残る小さな光点や細い線状の図
形は圧縮膨張処理により取り除くことができる。すなわ
ち、一定の幅を減ずる圧縮処理により小さな光点が無く
なった後に同じ幅だけ膨張処理すると、小さな光点や線
以外は元の状態に戻り、結局光学的なノイズが消去され
ることになる。

【００５１】こうしてウインドウ７１中に残った図形７
２、７３、７４の２値情報に基づいて図形の独立性を判
定し図形毎に区分したラベル付けをして、その結果を２
次元ラベルデータとして画像処理装置４０の記憶部４３
の画像メモリに格納する。

【００５２】図６（ｃ）は画像処理の第３の段階におけ
る画像を表わした図面である。画像処理の第３段階で
は、図６（ｃ）に示すように、演算装置５０が上記のラ
ベル付けした各図形の情報を記憶部４３から取り込んで
各図形７２、７３、７４の外接長方形７５、７６、７７
を求める。外接長方形は水平の辺と垂直の辺からなるも
のである。ＣＣＤカメラ２１を水平に設置すれば、２次
元ラベルデータの横軸方向と縦軸方向がそのまま水平方
向と垂直方向に対応する。したがって、外接長方形は同
じラベルについて水平軸方向における最小値と最大値、
および垂直軸方向の最小値と最大値により囲まれる図形
であるから、簡単な演算により求めることができる。

【００５３】次に、上記で求めた外接長方形の各辺の中
点を結んだ四角形を作る。この四角形は長方形の辺の中
点を結んで作るものであるから菱形をしている。この四
角形をテンプレートとして元の図形を重ねると、図形が
軸が垂直な菱形であれば両者は余りなく合致するので、
簡単に判定することができる。菱形でないときには、テ
ンプレートとした四辺形の外部領域にはみ出る部分が生
じる。この外部領域にはみ出した部分の面積により、対
象図形が菱形かどうかを判断することができる。複数の
図形７２、７３、７４が存在する場合には、はみ出し部
分がより小さい図形７２を計測ターゲットと判定する。

【００５４】ただし、例えば元の図形が大きければはみ
出し部分の面積が相対的に大きくなるので、絶対値によ
り直ちに図形が菱形と近似している度合いを判断するこ
とが不当な場合がある。そこで、図形の大きさや向き等
による判断のぶれを防ぐため、テンプレート四辺形の外
部領域にはみ出した部分の面積と内部領域と重なる部分
の面積を算出して両者を比較することにより、いずれの
図形がより計測ターゲットらしいかを判定するようにす
ることができる。

【００５５】図６（ｄ）は画像処理の第４の段階におけ
る画像を表わした図面である。画像処理の第４段階で
は、図６（ｄ）に示すように、計測ターゲットと判定し
た図形７２の重心を求め、位置決め装置６０を駆動して
カメラの視野中心をその重心位置に移動することによ
り、機械・装置が対象物を捕捉して作業できるようにす
る。

【００５６】菱形のターゲットマーク７２の重心は、整
形された形状の２値化データについて、縦軸方向に値を
積算して横軸上に投影して得られる頻度分布７８のピー
ク位置の横座標Ｐｘと、横軸方向に値を積算して縦軸上
に投影して得られる頻度分布７９のピーク位置の縦座標
Ｐｙとから、座標値（Ｐｘ、Ｐｙ）として求められる。
従って、ＣＣＤカメラ２１の光軸を調整して座標値（Ｐ
ｘ、Ｐｙ）が画像８０の中心に来るようにすれば、機械
・装置の姿勢が計測ターゲットを付設した物品に対応す
ることになる。

【００５７】図７は演算装置５０により求めた菱形マー
カの中心位置に撮像装置２１の光軸を合わせるための構
成を表した図面である。ＣＣＤカメラ２１などの撮像装
置は位置決め装置６０により鉛直軸と水平軸の２軸の周
りに回転することができる。この回転により視野中のマ
ーカ画像の水平ずれ量と鉛直ずれ量を補償して視野中心
がマーカ中心にくるように調整しマーカ１の方向に光軸
を向けると、この時の撮像装置の姿勢がマーカの方向成
分を代表するものとなる。

【００５８】図８は位置決め装置６０の制御方法を表す
フロー図である。装置が動作を開始すると（Ｓ１）、Ｃ
ＣＤカメラ２１が取得して画像入出力装置３０に格納さ
れた画像について画像処理装置４０と演算装置５０が協
働して画像処理しその結果に基づいてマーカの重心検出
を行い（Ｓ２）、水平ずれ量と鉛直ずれ量を算出し（Ｓ
３）、この値のいずれかが予め決められる閾値より大き
ければ（Ｓ４）ずれ量に比例した量だけ水平軸あるいは
鉛直軸を駆動して補償した上で（Ｓ５）、再びＳ２に戻
って画像を入力する。水平ずれ量と鉛直ずれ量のいずれ
もが規定の閾値より小さくなれば、撮像装置２１はその
光軸を正確にマーカ中心に向けたことになるので操作を
終了する（Ｓ６）。

【００５９】なお、ＣＣＤカメラ２１はズーム機能を有
して遠距離物体を大きく撮影できるようなものであって
も良い。また撮像装置全体を上下あるいは左右に動かせ
るように構成することにより計測ターゲット位置による
撮像の困難を回避できるようになっていても良い。ま
た、光波測距計をＣＣＤカメラ２１と同軸になるように
配設すると、上記の調整により自動的に光波測距計の光
軸がマーカの中心に合致するため正確な距離が測定でき
て、マーカ１の３次元座標を求めることができる。

【００６０】なお、これら画像処理における各段階の画
像は、画像処理装置４０の記憶部４３からデジタル出力
部４１と画像入出力装置３０のデジタル入力部３４を介
し、あるいは演算装置５０の演算部５１から直接的に書
き込むことにより、画像入出力装置３０の記憶部３３に
逐一格納されるので、アナログ出力部３２によりモニタ
２２を介して操作者が観察できるようになっている。ま
た、上記では簡単のため各機能について独立した装置あ
るいは部品が対応するように説明したが、マイコンなど
複合的な素子や装置等を用いても、あるいは説明の都合
上１個の部品で達成するように説明した機能を複数の部
品や回路で達成することは設計上の便宜に過ぎないこと
はいうまでもない。

【００６１】

【発明の効果】以上、説明した通り、本発明のマーカ重
心計測方法によれば、環境中に紛らわしい形状が現れに
くい単純な形状のマーカを用いて簡単な手法で的確にマ
ーカ重心が検出できるため、雑然とした工場・現場にお
いても対象物の自動追跡が的確にかつ容易に実施でき、
機械・装置の自動化に極めて有効である。

【図面の簡単な説明】

【図１】本発明のマーカ重心計測方法の原理を説明する
図面である。

【図２】本発明のマーカ重心計測方法による菱形マーカ
の検出状況を説明する図面である。

【図３】本発明のマーカ重心計測方法による重心位置計
測状況を説明する図面である。

【図４】本発明のマーカ重心計測方法による重心位置計
測手順を説明する図面である。

【図５】本発明のマーカ重心計測装置の実施例を示すブ
ロック図である。

【図６】図５の実施例におけるマーカ追跡を示す説明図
である。

【図７】本発明の実施例に用いられる位置決め装置を示
す説明図である。

【図８】本実施例の位置決め装置を制御手順を表す流れ
図である。

【符号の説明】

１ 菱形マーカ ２ 外接長方形 ３ テンプレート四辺形 ４ 三角形マーカ ５ 正方形マーカ ６ 円形マーカ ７、８、９、１０ マーカ画像 １１、１２、１３、１４、１５ 頻度分布 ７０ ２次元画像 ７１ ウインドウ ７２、７３、７４ 図形 ７５、７６、７７ 外接長方形 ７８、７９ 頻度分布 ８０ 画像

───────────────────────────────────────────────────── フロントページの続き (72)発明者 黒崎 泰充 千葉県野田市二ツ塚118番地 川崎重工業 株式会社野田工場内 (72)発明者 宇田川 清 千葉県野田市二ツ塚118番地 川崎重工業 株式会社野田工場内

Claims (9)

【特許請求の範囲】
1. 【請求項１】 物品に付設した計測ターゲットを撮像
   し、画像処理技術により計測ターゲットに表されたマー
   カを抽出しマーカ重心位置を求めることにより物品の位
   置を計測するマーカ重心計測方法において、マーカの形
   状を略菱形とすることを特徴とするマーカ重心計測方
   法。
2. 【請求項２】 撮像装置で撮影した画像中にある図形に
   ついてほぼ水平に置かれた外接長方形を算出し、該外接
   長方形の各辺の中点を取りこれら中点を結んだ四角形と
   前記図形のマッチング度を算出して最もマッチしている
   ものをターゲットマーカとすることを特徴とするマーカ
   重心計測方法。
3. 【請求項３】 請求項２記載のマーカ重心計測方法であ
   って、さらに前記ターゲットマーカの画像に属する画素
   の水平方向の最多頻度位置と垂直方向の最多頻度位置と
   からマーカの重心位置を算出することを特徴とするマー
   カ重心計測方法。
4. 【請求項４】 撮像装置で撮影した画像にウインドウを
   設定し、ウインドウ中の画像を明度に基づいて２値化し
   て２値化画像を得、該２値化画像を膨張圧縮処理および
   または圧縮膨張処理により整形して図形を抽出してラベ
   リングし、該ラベリングされた図形についてほぼ水平に
   置いた外接長方形を算定し、該外接長方形の各辺の中点
   を頂点とする四角形と前記図形とが最もマッチしている
   ものをターゲットマーカと判定し、該ターゲットマーカ
   の画像に属する画素の水平方向の最多頻度位置と垂直方
   向の最多頻度位置とからマーカの重心位置を算出するこ
   とを特徴とするマーカ重心計測方法。
5. 【請求項５】 請求項２ないし４のいずれかに記載のマ
   ーカ重心計測方法において、物品に菱形のマーカを表し
   た計測ターゲットを物品に付設しておき、これを含む画
   像を取得するようにすることを特徴とするマーカ重心計
   測方法。
6. 【請求項６】 撮像装置と、モニタと、画像入出力装置
   と、画像処理装置と、演算装置とを備え、 前記撮像装置が計測ターゲットを含む画像を撮像してア
   ナログ出力し、 前記画像入出力装置が、前記撮像装置のアナログ出力を
   入力しデジタル化した２次元画像信号として記憶し、該
   ２次元画像信号を前記画像処理装置および前記演算装置
   に送出し、かつ前記画像処理装置において処理された画
   像信号を入力して記憶し、 前記画像処理装置が、前記画像入出力装置から２次元画
   像信号を入力し画像処理して画像中の図形を抽出しラベ
   リングして記憶し、記憶された画像信号を前記画像入出
   力装置と前記演算装置に出力し、 前記演算装置がラベリングされた画像信号を処理して画
   像中の図形毎に１辺が水平な外接長方形を生成し、該外
   接長方形の各辺の中点を結んだ４角形を算出して前記画
   像信号が表すマーカとの一致度合いに基づいて対象ター
   ゲットの判定を行い、 前記モニタが前記画像入出力装置が記憶する映像信号を
   入力して画像表示することを特徴とするマーカ重心計測
   装置。
7. 【請求項７】 請求項６記載のマーカ重心計測装置であ
   って、 前記演算装置がさらに、対象ターケットと判定されたマ
   ーカを表す前記画像信号の信号状態について水平軸方向
   と垂直軸方向の頻度分布を算定し頻度が最も大きい位置
   を基準としてマーカの重心を算出し、該マーカ重心位置
   が画像の中央に来るように移動することを特徴とするマ
   ーカ重心計測装置。
8. 【請求項８】 請求項６または７記載のマーカ重心計測
   装置において、略菱形のマーカを表した計測ターゲット
   を物品に付設しておき、前記撮像装置により前記計測タ
   ーゲットを含む画像を取得して処理することを特徴とす
   るマーカ重心計測装置。
9. 【請求項９】 請求項８記載のマーカ重心計測装置であ
   って、さらに照明装置を光軸が前記撮像装置の光軸に近
   接するように備え、前記菱形マーカが再帰反射機能を有
   し、前記照明装置で該マーカを照射しながら前記撮像装
   置で前記計測ターゲットを含む画像を取得することを特
   徴とするマーカ重心計測装置。