JP2007025830A - ３次元物体の認識方法及び装置 - Google Patents

Abstract

【課題】
一般的な空間に存在する３次元物体の鮮明な全体画像を得るとともに、その物体の形状を計測できる３次元物体の認識方法および装置を提供することを目的とするものである。
【解決手段】
上記目的を達成するために、本発明の３次元物体の認識方法は、光軸方向の異なった位置で撮像された複数の画像から、画像が撮像されたときの輝度情報を元に、選択された撮像位置に対応する撮像素子の１画素画像を抽出して合成することにより、３次元物体の画像を得られるようにしたものである。
【選択図】 図１

Description

本発明は、カメラ等の撮像手段によって撮像された情報から３次元物体を認識する方法とその装置に関する。

従来、顕微鏡によって観察物等の３次元物体の画像を撮像するものにおいて、その３次元物体が顕微鏡の光軸方向に高さを有している場合、その焦点深度の関係上、前述した３次元物体を一括して撮像表示することができないという不具合が有る。この不具合を解消するために、特許文献１に示されるように、３次元物体の拡大像を複数の光路に分割し、この分割した３次元物体の拡大像をその高さ方向の異なる観察位置にそれぞれ合焦し得るように構成し、かつ、同期結合された複数の撮像手段で撮影し、各撮像手段から得られた映像信号を任意の範囲で電気的に切出し合成して、高さ方向の異なるそれぞれの観察位置に合焦した１画面分の合成映像信号を得るものがある。

また、顕微鏡下における精密加工品の表面凹凸形状を白色光の干渉を用いて測定する方法が、非特許文献１に示されている。

特開昭６２−２９５０１５号公報 計測自動制御学会論文集（Vol.36,No.1,16/25 (2000))

上記の従来技術においては、３次元物体の構造を詳細に観察しようとする場合、観察位置をその高さ方向に複数に分割する必要がある。このように観察位置を複数に分割すると、この分割数に応じたカメラ及びモニタが必要になり、構成が複雑になる。また、各カメラによって撮影した撮像の大きさに異なりを生じ、鮮明な合成画像を得ることができないという問題があった。

また、顕微鏡下における精密加工品の形状測定では、光学系を平行にすると共に、計測できる範囲は光の波長に依存し、ごく精密な測定範囲にしか応用できなかった。

本発明は、上述の事柄に基づいてなされたもので、一般的な空間に存在する３次元物体の鮮明な全体画像を得ると共に、その物体の形状を計測できる３次元物体の認識方法及び装置を提供することを目的とするものである。

上記目的を達成するために、本発明の３次元物体の認識方法は、撮像対象の画像を光軸方向の異なった位置で撮像し、この画像を撮像素子の１画素毎に番地付けすると共に、この番地毎に撮像対象までの距離情報を付加しておき、光軸方向の異なった位置で撮像された複数の画像から、前記距離情報に基づいて、各画像が撮像されたときの最も輝度の高いまたは輝度変化の大きな撮像位置を選択し、選択された撮像位置に対応する撮像素子の１画素画像を抽出して合成することにより、３次元物体の画像を得られるようにしたものである。

また、本発明の３次元物体の認識装置は、光軸方向の異なった位置で画像を撮像する撮像手段と、この撮像手段で撮像した画像を撮像素子の１画素毎に分け、各１画素を番地付けする画像処理手段と、試料基準面までの距離を算出または測定する距離測定手段と、この距離測定手段で測定した距離に基づいて、前記番地毎に撮像対象までの距離情報を作成する距離情報処理手段と、画像を合成する画像合成手段とを備え、光軸方向の異なった位置で撮像された複数の画像と、前記距離情報とに基づいて、各画像が撮像されたときの最も輝度の高いまたは輝度変化の大きな撮像位置を選択し、選択された撮像位置に対応する撮像素子の１画素画像を抽出して合成することにより、３次元物体の画像を得られるようにしたものである。

本発明により、一般空間内に存在する物体の形状を、一般的なカメラを用いて、一画像で捕らえた透視変換された形状ではなく、等測投影した映像を得ると共に各画素までの距離情報を取得できることで３次元物体の形状を正確に認識することができる。

以下、本発明の一実施形態を、図面を用いて説明する。

図１に本発明の３次元物体の形状を撮像する撮像手段をマニピュレータの手先に設けた例を示す。図１において、形状測定装置２０は、マニピュレータ部３１とマニピュレータ部３１を制御する制御部３０とからなる。マニピュレータ部３１の先端部にはレンズ系１と、撮像手段（ＣＣＤカメラ）３が設けてある。制御部３０には撮像手段からの信号を受け取り、画像処理部８に信号を送信する撮像信号受信部７と、画像処理した画像信号を記録する画像記録部９と、画像処理信号からレンズ系１と観察物あるいは被測定物となる３次元物体５との距離、や位置情報を処理する距離情報処理部１０と、距離情報処理部１０と画像記録部９の信号から合成画像を生成する画像合成部と、合成された画像を表示する表示部とからなる。さらに制御部３０には、距離情報処理部１０のデータに基づいてマニピュレータ部３１を駆動制御するマニピュレータ駆動部１２と、このマニピュレータ駆動部１２の駆動経路制御を指令するマニピュレータ指令入力部１４とを備えている。

一方、マニピュレータ部３１は、３次元物体５に対して撮像方向を決定するため多関節のロボットで構成され、複数の腕部４ａ〜４ｃと回転可能な関節部１６ａ〜１６ｄとから構成され、先端の腕には４ａにはスライド軸２が設けてあり、このスライド軸２の先端部に撮像手段等が取付けてある。このマニピュレータシステムはマニピュレータ指令入力部１４とマニピュレータ駆動部１２によって作業を実行する。

次に、前述した本発明の形状測定装置の動作を図２に示すフローチャートに基づき説明する。

３次元物体５とマニピュレータ部３１の存在する空間の範囲が、撮像手段３面からの距離で表したときに、その最遠距離点Ｂと最近距離点Ａの間にあるものとする。このとき、まず初めに３次元物体５の最遠距離点Ｂが撮像手段３の焦点が遠距離点側に合うように、マニピュレータ部３１を駆動する(ステップ１０１）。このとき、３次元物体５の形状寸法を測定するために、３次元物体の基準面（本実施形態では３次元物体を載置したテーブル面を基準面としている）に対して垂直な直線上にマニピュレータ部３１のスライド軸２が一致するような向きの姿勢をとるようにする。この状態で撮像した場合は、撮影後の座標変換等の手間を省くことができる。また、この姿勢は３次元物体の測定したい面が隠れないような姿勢をとることが望ましい。次に光学画像を撮像手段３で取り込む（ステップ１０２）。この光学画像は画像処理部８においてピクセル毎に番地付けされる。例えば、画像番号ｎ、行番号ｘ、列番号ｙ、としてｐ（ｎ，ｘ，ｙ）で表わされる。この番地付けされた画像は画像記憶部９に記憶する。次に、過去に撮像された画像の各ピクセル位置での最大輝度値と、今回撮像した画像の同じ位置のピクセルの輝度値を比較する（ステップ１０３）。

このとき、今までの最大輝度値ＭＡＸの方が、今回測定した輝度値よりも大きければ、最大輝度値ＭＡＸ及び最大輝度を持つ画像のインデックスＭはそのままとする(ステップ１０４）。反対に、過去に撮像された画像の各ピクセル位置での最大輝度値よりも今回撮像した輝度値の方が大きければ、最大輝度値ＭＡＸを今回撮像した輝度値で更新し、最大輝度値を持つ画像のインデックスを今回撮像した画像のインデックスの値Ｎに書き直す(ステップ１０５）。

次に、マニピュレータのスライド軸２を３次元物体５の測定解像度（測定時の撮像ピッチで、求める精度で決定される）の分だけ上昇させる（ステップ１０６）。マニピュレータのスライド軸２の最遠距離点Ａから、測定分解能分ずつ移動させ、最近距離点Ｂになるまでステップ１０２からステップ１０６を繰り返す（ステップ１０７）。例えば、測定物を図６（ｄ）に示すような直線と平面でできているもので、その形状検査を簡略に行なう場合などには、図６（ａ）〜図６（ｄ）に示したような形状を測定したい面の高さに合わせて撮像を行なう。この場合、図に示す三角錐の形状を再現することはできないが、測定したい高さにおける断面外形形状の情報を取り出し、計測を行なうことが可能である。

また、全体の形状を３次元的に再現することが必要な場合には、数マイクロメータ毎に撮像を実行することにより数マイクロメータ毎の断層写真を組み合わせた形で全体形状を表示し、それぞれの断層における寸法測定を行なうことが可能である。例えば、高さ方向の寸法を１００マイクロメータの精度で測定したい場合には、１/１０の１０マイクロメータ毎の撮影を行い、輝度差の誤差の影響を受けないようにすることで精度向上が図れる。ただし、測定精度にはマニピュレータの位置決め精度、カメラ駆動系の最小移動分解能と精度が影響するため、精度に応じた周辺機器を用意する必要がある。これにより、測定分解能の幅でｎ枚の画像が画像記憶部９内に記憶される。

次に、画像の各ピクセル毎に対応した距離値を選択する。この選択の方法を以下説明する。

まず、全画面合焦画像の微小領域（Ｘ，Ｙ）＝（１，１）の光学画像を選択する際には、ＮＡ枚の画像ｐ（１，１，１）〜ｐ（ＮＡ，１，１）で最も輝度値の高かった画像のインデックスＭのついた画像を撮像したときのマニピュレータの位置とレンズ系の焦点の合わされた距離情報から３次元物体の相対位置が算出される。

画面全体に渡り、このように最大輝度を示す画像のインデックスを選択することにより、各ピクセルにおける物体にピントの合った画像が選ばれる。選択したピクセルは画像合成部１１において、他のピクセルと合成され、全画面に輪郭のクリアな合焦点画像を提供することができる。

次に、本発明の装置による３次元物体５の一例として３角錐形状に対する合成画像の抽出方法を説明する。

図３に観察物の一例となる３角錐形状の３次元物体５を示す。この３次元物体５は、三角錐の形状をしている。まず、図３に示すように、３次元物体５がカメラ視野に収まるような撮像範囲（図３では、撮像範囲撮像物体より大きめに撮像範囲（四角のエリア）を設定してある）を決定する。カメラの絞りは被写界深度が狭くなるように、絞り開放の状態で調整し、シャッター速度を高速に設定することで撮像中の３次元物体やマニピュレータの振動による撮像振れが少なくなるような調整を行う。

カメラに取付けたレンズの焦点距離が異なれば、３次元物体を全画角内に納めるためのマニピュレータ位置を変化させる。この様子を図４と図５に示す。図４は望遠レンズを使用した場合であり、図５は広角レンズを用いた場合である。どちらも、−２＜ｘ＜２、−２＜ｙ＜２の枠内に撮像範囲を設定しているが、３次元物体に近づいて撮像した図５では、−２＜ｘ＜２、−２＜ｙ＜２の境界のＺ軸方向の壁の内側２２が画面上で大きな面積をとって見えている。つまり、カメラに近い部分が大きく写り、遠く離れた部分が小さく写る透視変換の効果が大きくなっていることがわかる。このように、ある１点から３次元物体を捕らえるとカメラから遠い部分は小さく、近い部分は大きく写り、寸法計測を目的とする計測では、この透視変換効果を補正する必要が出てくる。透視変換補正を行わなくてよい方法の一つは、撮像レンズからの光が平行光となるような光学系を構成する方法である。しかし、この場合、レンズ口径と撮像範囲が同じ大きさになってしまい、大きな対象物を測定するためには口径の大きなレンズを用意することが必要となる。レンズの大きさには限界があり、この方法をとる限り、視野の移動を繰り返し行い広い範囲をカバーする方法をとらざるを得ない。そこで本装置では、図４のように透視変換補正を必要としない固定焦点方式を用いた。

本装置の場合、まず始めに、３次元物体の最遠点Ａにピントを合わせた後は、レンズの焦点は変更せずに、カメラ全体を３次元物体から離れる方向に移動する方法をとっている。このように、焦点距離を固定して、複数枚の画像から焦点のあった部分だけを寄せ集めて１つの画像を作ることにより、最終的に合成された画像内では、透視変換による大きさの変化の影響を排除した画像を得ることができる。

図２のフローチャートに従って撮像を行った場合の撮像過程を、以下図６を用いて詳細に説明する。まず始めに、３次元物体の最遠点Ａに焦点を合わせた場合に、合焦点部分として捉えられる断面を図６（ａ）に示す。撮像手段３では焦点深度をごく狭い領域になるように光学系を形成しているため（ａ）に示す断面上の画像は焦点が合い、撮像素子上にはごく小さな輝度の変化までを捉えた映像が結像する。この断面から離れた部分の映像は、焦点が合っていないためぼやけることにより周囲のピクセルとの平均化されたような輝度値を持つことになる。

次に、予め定めた高さ方向計測分解能に応じた移動距離分だけマニピュレータのスライド軸２を３次元物体から遠ざけるように移動して次の撮像を行う。このときレンズの焦点距離は変化させずに、焦点が合う部分がマニピュレータの移動した分だけ移動するようにする。

次に、マニピュレータのスライド軸２をさらに上昇させて、（ｂ）に示すような位置に設定する。このときに撮像手段３により得られる光学画像は、（ｂ）に示す断面上にある物体に焦点が合った画像である。順次マニピュレータを上昇することにより（ｃ）そして（ｄ）に示す３次元物体５の頂点近傍に焦点の合った光学画像の撮影が実行される。これらの画像は、画像記憶部９から画像合成部１１に送られる。

一般に、マニピュレータの姿勢から換算した手先座標とレンズの焦点距離を用いて、マニピュレータの設置されている座標系３３における３次元物体の形状を測定することができる。しかし、マニピュレータの手先座標の算出には、関節に取付けられた角度センサ１６などを用いて計算されるため、がた等の影響により空間座標の算出に誤差を生じる可能性がある。このような誤差を解消するために図７に示すように、マニピュレータの手先に距離センサ３５を取付けて、この距離センサ座標に対する３次元物体の形状データを取得する方法が考えられる。

距離センサ、例えばレーザ測距センサ３５をマニピュレータの手先に取付けて、予め定めた基準点３２にレーザ光３４を当て、測定を行うことで座標系のキャリブレーションをすることができる。

上述の実施例では、ｎ枚の光学画像に対して同じ位置のピクセルのうち輝度値が最も大きな値をもつ画像を撮像した位置を焦点が合った画像として抽出し、全焦点画像を得ると共に、３次元物体の形状データを算出した。焦点が合っている部分を抽出する他の方法として、以下に述べるような方法を採用することも可能である。

隣り合うピクセルとの輝度の差を画像処理部８で検出する。そして、この輝度の差が最も大きな点を含む画像のピクセルをｎ枚の画像から選択して、画像合成部１１において画像を合成する。

このように構成する理由は、ピントの合っているところでは、３次元物体５の稜線が鮮明に現われるために、隣のピクセルとの輝度の差が大きくなり、ピントのぼけているところでは稜線の画像がぼやける。このために、隣のピクセルとの輝度の差が小さいことを利用して、ｎ枚の光学画像からピントの合っている部分を寄せ集めて全画面の合焦点画像を得ることができる。

本実施形態では、ピントの合っている部分を隣のピクセルとの輝度の差で検出した。その他に、輝度の変化の微分値や２階の微分値を利用する方法や、隣のピクセルだけでなく上下左右または周辺のピクセルとの輝度、カラー、その他の画像情報を用いてピントの合った部分を検出する手段を用いることも可能である。

前述の実施形態では、３次元物体５の光学画像を複数取り込む際に、マニピュレータのスライド軸を上下方向に移動させたが、３次元物体を観察台に載せ、この観察台を上下方向に移動させても良い。また図１では３次元物体の観察軸を鉛直方向になるようにマニピュレータのスライド軸を設定したが、図８のように内部形状観察の際には、任意の空間軸に対してマニピュレータのスライド軸を設定することで、複雑な形状の３次元物体に対しても死角のない姿勢で計測を実施することができる。

以上のような構成をとることで、レンズ系１の焦点距離が変化しないので、焦点の合っている部分の画像の倍率は変化せず、複数の光学画像を合成した画像は、その合成の際にも接合点が食い違うことなく合成することができる。
また、本発明においては、画像合成部１１から表示装置１３に表示される合成画像は、一括して表示しても良いし、複数の光学画像を順次表示して合成しても良い。さらに、複数の光学画像をカラー表示することも可能である。
このように構成することにより、３次元物体５の形状認識が容易になる。

本発明の３次元物体の認識装置の一実施例の構成を示す図である。 本発明の３次元物体の認識装置による認識方法を説明するフローチャートである。 本発明に用いられる３次元物体の一例を示す斜視図である。 本発明に用いられる３次元物体を望遠レンズで撮影した場合の映像の一例を示す図である。 本発明に用いられる３次元物体を広角レンズで撮影した場合の映像の一例を示す図である。 本発明に用いられる３次元物体の最遠点にピントを合わせたときの焦点が合う断面を示す図である。 本発明の別の実施例でレーザセンサによるキャリブレーションの構成を示す図である。 本発明の別の実施例で３次元物体の内部認識を行う場合の姿勢を示す図である。

符号の説明

１…レンズ系、２…スライド軸、３…撮像手段、４…マニピュレータ、５…３次元物体、８…画像処理装置、９…画像記憶装置、１０…距離情報処理装置、１１…画像合成装置、１２…マニピュレータ駆動装置、１３…表示装置、１４…マニピュレータ指令入力装置、１６…角度検出器、２０…形状測定装置、２２…内壁、２３…合焦点断面、３２…基準点、３３…マニピュレータ座標原点、３４…レーザ光、３５…距離センサ。

Claims (2)

1. 撮像対象の画像を測定解像度に応じて光軸方向の異なった位置で撮像し、前記撮像した画像を撮像素子の１画素毎に番地付けすると共に、この番地毎に撮像対象までの距離情報を付加して、光軸方向の異なった位置で撮像された複数の画像から、前記距離情報に基づいて、各画像が撮像されたときの最も輝度の高いまたは輝度変化の大きな位置を選択し、選択された撮像位置に対応する撮像素子の１画素画像を抽出して合成することにより、３次元物体の画像を得られるようにした３次元物体の認識方法。
2. 光軸方向の異なった位置で画像を撮像する撮像手段と、この撮像手段で撮像した画像を撮像素子の１画素毎に分け、各１画素を番地付けする画像処理手段と、試料基準面までの距離を測定する距離測定手段と、この距離測定手段で測定した距離に基づいて、前記番地毎に撮像対象までの距離情報を作成する距離情報処理手段と、画像を合成する画像合成手段とを備え、光軸方向の異なった位置で撮像された複数の画像から、前記距離情報に基づいて、各画像が撮像されたときの最も輝度の高い又は輝度変化の大きな撮像位置を選択し、選択された撮像位置に対応する撮像素子の１画素画像を抽出して合成することにより、３次元物体の画像を得られるようにした３次元物体の認識装置。
   

Images