JP2005003409A - ３次元曲面形状の測定装置及び測定方法 - Google Patents

Abstract

【課題】マルチスリットイメージエンコード法の利点である高精度、ロバスト性、高速性を生かして、かつ対象の絶対形状を測定する方法を提供する。
【解決手段】被測定対象物表面に複数本のスリット光からなるスリットパタンと１本以上のストライプ状の光からなるストライプパタンとをそれぞれ投影するパタン投影手段７と、被測定物表面に投影されたスリットパタン及びストライプパタンを投影方向とは異なる方向から撮影する撮像手段８と、撮影されたパタン投影画像を画像処理して前記被測定対象物の３次元曲面形状を演算する形状演算手段５０とを備えた３次元曲面形状の測定装置。スリットパタンは、スリット方向と直交する方向にシフトされたパタンとし、又は、複数のストライプパタンは、各パタンのストライプの明暗の組み合わせが投影された位置への投光角度に対応するコードを示す３次元曲面形状の測定装置。
【選択図】 図２

Description

【０００１】
【発明の属する技術分野】
この発明は、３次元曲面の形状を非接触で測定する方法及び装置に関するものである。
【０００２】
【従来の技術】
光を用いた非接触３次元形状計測技術は、かつて図７に示す「光切断法」（たとえば「画像処理ハンドブック（昭晃堂）ｐｐ．３９８−３９９参照」が主流であった。この方法は、図７に示すように、被測定物５１に対して、スリット光源５２からのスリット光５３を照射した時に物体表面に形成される光ビームパタン（光切断線）が、これを照射方向と異なる方向から観察した時、被測定物体５１のスリット光照射位置での断面形状に対応するという現象に着目した方式であり、その簡便性、非接触性及び定量性故に従来より広く用いられている方法である。
【０００３】
しかしながら、この方式は、測定対象の反射率が一様ではない場合、光切断線の輝度も一様にならないため、光切断線自体を背景から抽出することが必ずしも容易でなかった。例えば、反射率の低い部分における光切断線を検出するためにスリット光を強くすると、反射率の高い部分でハレーションを起こし光切断線の分解能が落ちるという問題があった。
【０００４】
そのため、測定精度が、測定対象の反射率ムラや大きな凹凸差の影響を受けやすく、さらには背景光下での測定が難しいなど所謂「ロバスト性」においても難があり、人体形状計測をはじめとする「測定のフレキシビリティ（いつでも，どこでも，何でも測定可能）」を要求される分野では、その適用に限界があった。
【０００５】
これに対して、昭和６０年代になって、所謂「空間コード化法」として知られる方式群が提案された。「空間コード化法」は、測定対象表面の各点毎に、まず投影される光の投光角度を求め、その角度から三角測量原理に基づいて形状を求める方式である。この方法は、形状再生にあたって、「光切断法」のように「光切断線」を抽出するプロセスが必要ないため、測定の「ロバスト性」の高い方式群である。
【０００６】
なお、ここで言う「空間コード化法」は、上記の定義に該当する方法全般を指す広義の意味で用いている。そこで、狭義の意味で「空間コード化法」と称されることがある「２値コードパタン投影法」の他、以下に述べる「イメージエンコード法」も広義の「空間コード化法」として扱う。
【０００７】
この方式群のひとつとして、特許文献１に開示される「イメージエンコード法」が考案されている。この方式の概念図を図８に示す。図８に示すように、基準面１上に置かれた被測定対象物２の表面に斜め上方から紙面に垂直方向に拡がったスリット光３ａを投光し、このスリット光３ａを例えば回転ミラー４を用いて紙面横方向に移動させながら、例えば被測定対象２直上よりテレビカメラ８で撮像する。
【０００８】
この時、テレビカメラ８に接続されたモニタテレビ８ａ上では、物体表面でのスリット光の線状の反射パタンが画面横方向に移動していく様子が観察される。前述のように、スリット光３ａの反射パタンの描く曲線の形状は、物体表面の凹凸情報を反映しており、従来の光切断法においては、反射パタンの線形状を時々刻々抽出し、これを再構成することにより、被測定対象の３次元形状を測定していた。
【０００９】
この方法においては、スリット光３ａの線状の反射パタンが物体表面上を移動していく様子を写すテレビカメラ８から出力されるビデオ信号をもとにして、３次元形状を再構成する。まず、画面内の各画素毎に、その画素に対応する物体表面の位置をスリット光が通過した瞬間のスリット光投光角度をその画素の値とする画像を合成する。
【００１０】
この方式の核となる画像処理装置である「イメージエンコーダ」の構成を図９に示す。図９で、画像合成回路１３は、テレビカメラ８ より入力されるビデオ信号を処理して各画素毎に、最も明るくなった瞬間の輝度を演算する最大輝度画像演算部１８と、各画素が時間的に最大の輝度をとる瞬間のスリット光投光角度θをその画素の値とする画像合成演算を行なう画像合成演算部１９とから構成されており、これらの制御用として同期回路２０、メモリアドレス発生回路２１及び出力制御回路２２を備えている。
【００１１】
最大輝度演算部１８は、最大輝度画像演算のバッファメモリである最大輝度画像メモリ２３を中心として同期回路２０より出力されるタイミング信号に基づいてビデオ信号をＡ／Ｄ変換しディジタル化するＡ／Ｄ変換回路２４、メモリアドレス発生回路２１より指定される最大輝度画像メモリのアドレスのデータの読出し、書込みを制御する最大輝度画像メモリ２５、更に、テレビカメラから入力される画像と最大輝度メモリの画像の対応する画素の値を比較し、大きい方の値を選択出力する比較回路２６及びスイッチ回路２７より構成されている。
【００１２】
一方、合成画像演算部１９は、合成画像演算結果を格納する合成画像メモリ２８を中心として構成されており、最大輝度画像演算部１８の中の比較回路２６の出力信号に基づいて、テレビカメラから入力される信号レベルがそれに対応する最大輝度画像メモリ２３のアドレスの画素の値よりも大きかった時にそのスリット光投光角度θを合成画像メモリ２８に書込む機能を有する合成画像メモリ制御回路２９を備えている。
【００１３】
この回路は、演算の開始のタイミングで、最大輝度画像メモリ１３及び合成画像メモリ２８が零にクリアされた状態からスタートし、テレビカメラから入力されるビデオ信号をＡ／Ｄ変換回路２４を用いてディジタル化しながら、ビデオ信号の値と、その画素の位置に対応する最大輝度画像メモリ１３の画素の値とを比較してビデオ信号の値のほうが大きい時にのみ最大輝度画像メモリ１３のその画素の値をビデオ信号の値で更新すると同時に、合成画像の対応する画素にその時のスリット光投光角度θを書込む機能を有している。
【００１４】
このようにして外部からの演算制御信号によって指示されている間、上記の演算が行なわれる結果、演算終了時に、合成画像メモリ２８に、先に説明した所定の画像が生成されている。このようにして演算された合成画像は、出力制御回路２２を介して、次の演算回路へと転送される。
本考案の結果、測定の精度と信頼性（ロバスト性）とを兼ね備えた形状計測が実現された。
【００１５】
また、測定時間の短縮を目的として、特許文献２に開示される「マルチスリット走査」を用いた「イメージエンコード法」が考案された。この方式は、図１０に示すように、基準面１上に置かれた被測定対象２の表面に斜め上方から紙面に垂直方向に拡がりかつ同一直線上で交わるような複数のスリット光３ａを投光し、このスリット光を例えば回転ミラー４を用いて紙面横方向に移動させながら、例えば被測定対象２の真上よりテレビカメラ８で撮像する。
【００１６】
この時、テレビカメラ８に接続されたモニタテレビ８ａ上では、被測定対象の表面上で、複数のスリット光の反射パタンが移動していく様子が観察される。そして、このテレビカメラ８から出力されるビデオ信号をもとにして、画面内の各画素毎に、その画素に対応する物体表面の位置をスリット光が通過した瞬間について、その時のスリット光走査角度をその画素の値とする画像を合成する。
【００１７】
このようにこの従来技術は、スリットを複数本化することによって走査角度の限定を可能とし、測定時間を圧縮するようにしたものである。
【００１８】
これに対して、同じ「空間コード化法」として分類される形状計測方式に、特許文献３に開示される「２値コードパタン投影法」が知られている。この方式は図１２に示すように、測定対象表面に投光角度と対応付けてコード化された２値ストライプパタンを投影し、これをテレビカメラで撮影した画像を処理しコードを解読することにより、対象表面の各場所での投光角度を求めて、三角測量原理により形状を求める方式である。この方式の特徴を、「マルチスリットイメージエンコード法」と比較して表１に纏める。
【００１９】
【表１】

【００２０】
これら２つの方式は、いずれも「空間コード化法」に属し、「光切断法」と比較すると、対象表面の反射率のムラや背景光の影響を受けにくいという「ロバスト性」を本質的に有している。また、いずれも高速計測に配慮して構成された方式であり、「高速性」もまた本質的に満足している。
【００２１】
【特許文献１】
特公平６−２５６５５号公報
【特許文献２】
特開平７−２６０４４３号公報
【特許文献３】
特開昭６４−５４２０８号公報
【００２２】
【発明が解決しようとする課題】
しかしながら、特許文献１記載の方式は、特許文献２記載の方式に比べ、一般に測定時間が長いという問題がある。そこで、応答性の要求されるＦＡ用途や、長時間の静止に耐えない人体形状計測用途に対しては、より高速の形状計測法が求められていた。
【００２３】
特許文献２記載の技術「マルチスリットイメージエンコード法」は、図１１に示すように、測定時間を圧縮するようにしたものであるが、その代償として、スリットピッチ単位の「形状の折り返し」の「不確定性」を生じる。そのため、「絶対形状計測」という視点で見ると、逆に制約を生ずることとなった。すなわち、比較的平坦な形状では問題ないものの、段差のあるような形状では、隣接するスリットとの区別がつきにくくなるという可能性があった。
【００２４】
特許文献３記載の技術「２値コードパタン投影法」は、測定対象表面上の各点の照明投光角度を「絶対値」としてコード化できることから、「マルチスリットイメージエンコード法」にはない「絶対値計測」という利点を有する。しかし、ストライプ幅が狭くなってくると、テレビカメラで撮影したときに、カメラ分解能以下のピッチのストライプが相互に分離できなくなるという分解能限界があり「測定精度」は期待できない。
【００２５】
本発明は、「マルチスリットイメージエンコード法」の有する上記の問題点に鑑みてなされたものであり、この利点である「高精度」「ロバスト性」「高速性」を生かして、かつ対象の「絶対形状」を測定する方法を提供するものである。
【００２６】
【課題を解決するための手段】
上記の課題は次の発明により解決される。その発明は、被測定対象物表面に複数本のスリット光からなるスリットパタンと１本以上のストライプ状の光からなるストライプパタンとをそれぞれ投影するパタン投影手段と、被測定物表面に投影されたスリットパタン及びストライプパタンを投影方向とは異なる方向から撮影する撮像手段と、撮影されたパタン投影画像を画像処理して前記被測定対象物の３次元曲面形状を演算する形状演算手段とを備えたことを特徴とする３次元曲面形状の測定装置である。
【００２７】
この発明において、スリットパタンは、スリット方向と直交する方向にシフトされたパタンが複数回投影されることを特徴とする３次元曲面形状の測定装置とすることができる。
【００２８】
また、複数のストライプパタンは、各パタンのストライプの明暗の組み合わせが投影された位置への投光角度に対応するコードを示すことを特徴とする３次元曲面形状の測定装置とすることもできる。
【００２９】
これらの発明は、被測定対象物表面に複数本のスリット光からなるスリットパタン、即ちマルチスリット光のパタンをシフトしながら複数回投影すると共に、ストライプの明暗の組み合わせによりコード化された複数のストライプパタンを順次投影する。スリットパタンのシフトは、順次行ってもランダムに行ってもよく、ストライプパタンの最小幅に対応する領域をカバーするものであればよい。
【００３０】
投影と同時に、これらの投影パタンを、投影方向とは異なる方向からテレビカメラで撮影して、個々の投影パタンに対応する画像を得る。以下、投影パタンに応じてそれぞれ、マルチスリット投影画像、ストライプ投影画像と呼ぶ。
【００３１】
ここで、複数回投影されるスリットパタンとストライプパタンは、任意の平面に投影した場合、個々のスリットがストライプの境界と交差することのないよう、即ち必ずいずれかのストライプの中に収まるように設定しておく。これは、ある平面上に（例えば基準面等の上に）投影されたスリットとストライプが平行となるよう、投影手段を調整することにより、容易に実施できる。
【００３２】
ストライプ投影画像からは、複数のストライプパタンが示すコードに基づき、投影手段から測定対象表面への投光角度の範囲（ストライプの最小単位に対応）が決定される。マルチスリット投影画像からは、スリットパタンを複数回投影することにより、測定対象表面のストライプの最小単位内での更に小さい投光角度を決定することができる。
【００３３】
これらの投影画像から、投影手段、撮像手段、および投光角度の幾何学的関係から、三角測量の原理を用いて測定対象表面の空間の絶対位置（基準面からの高さ等）を算出する。
【００３４】
以上の発明はさらに、スリットパタンおよびストライプパタンを投影するパタン投影手段として、コンピュータに接続された同一のプロジェクタを用いることを特徴とする３次元曲面形状の測定装置とすることもできる。
【００３５】
この発明は、パタン投影手段を同一の投影手段（プロジェクタ）とすることにより、スリットとストライプを原理的に平行とすることができる。なお、スリットパタンとストライプパタンの両方のパタンは、液晶プロジェクタ等により投影することができる。
【００３６】
またこれらの発明において、形状演算にあたっては、複数本のスリットパタンの複数枚の投影画像からの形状演算結果と、コード化されたストライプパタンの複数枚の投影画像からの形状演算結果とを組み合わせて、形状を演算することを特徴とする３次元曲面形状の測定装置とすることもできる。
【００３７】
この発明では、マルチスリット投影画像からは、個々のスリットの投影領域それぞれについて、個々の領域の細部の形状を演算処理により求め、ストライプ投影画像からは、ストライプ幅（最小幅）の精度で測定範囲全体の概略の形状を演算処理により求める。これらの演算結果を用いて、測定範囲全体の概略の形状に、細部の形状を合成することにより、測定範囲全体の形状が細部にわたって（スリット投影画像の精度で）決定できる。
【００３８】
以上において、複数本のスリットパタンの投影画像からの形状演算については、被測定物表面上での投影パタンの輝度が比較的一様な場合は、前述の「光切断法」を適用することも可能である。この場合、光切断線の位置を撮像手段の画素の位置により検出するので、高い測定精度を得るには画素数を十分に高くする必要がある。
【００３９】
以上の発明において更に、複数本のスリットパタンの投影画像からの形状演算において、各画素ごとに各画素の時間変化をチェックし、各画素が最大輝度を示すタイミングにおけるスリットの投影位置をその画素の値とする投光角度画像を合成し、投光角度画像の各画素の値と、パタン投影手段・撮像手段・対象基準面の幾何学的関係とから、三角測量の原理に基づいてストライプパタンの最小幅に対応する領域の精密な部分形状を求めることを特徴とする３次元曲面形状の測定装置とすることもできる。
【００４０】
この発明では、スリットが投影された位置を画素の位置から求めるのではなく、個々の画素についてスリットパタンの投影中に最も輝度が高くなった時のスリットパタンを選択し、そのスリットパタンに対応するスリットの投光角度をその画素への投光角度とする。従って、スリットの精度（投影パタンの画素数）を高くすることにより、スリットの投光角度を高い精度で算出することができる。
【００４１】
また、以上の発明において、コード化されたストライプパタンの複数枚の投影画像からの形状演算において、各画素ごとに各画素の時間変化をチェックし、その明暗変化のシーケンスをその画素の値とする投光角度画像を合成し、投光角度画像の各画素の値とパタン投影手段・撮像手段・対象基準面の幾何学的関係とから、三角測量の原理に基づいて、概略の全体形状を求めることを特徴とする３次元曲面形状の測定装置とすることもできる。
【００４２】
さらに以上の発明において、パタン投影手段の投影画像の生成と、撮像手段から得られる光パタン画像の画像処理とを、同一のコンピュータで実行することを特徴とする３次元曲面形状の測定装置とすることもできる。
【００４３】
その他、以上の発明においては、パタン投影手段を複数有することを特徴とする３次元曲面形状の測定装置、撮像手段を複数有することを特徴とする３次元曲面形状の測定装置、あるいは、投影・撮像手段として不可視光を用いることを特徴とする３次元曲面形状の測定装置とすることもできる。
【００４４】
また、この装置を用いた３次元曲面形状の測定方法の発明は次のようになる。それは、コンピュータに接続されたプロジェクタを用いて、被測定対象物表面に複数本のスリット光からなるスリットパタンをスリット方向と直交する方向にシフトさせて複数回投影する工程と、
前記プロジェクタを用いて、ストライプの明暗の組み合わせによりパタン内の位置をコード化するための複数のストライプパタンを投影する工程と、
被測定物表面に投影された光パタンを投影方向とは異なる方向から撮影する工程と、
スリットパタンの複数の投影画像の中から、各画素ごとに最大輝度を示す投影画像を選択し、その投影画像に対応するスリットの相対的投光角度を前記各画素の値とする相対投光角度画像を合成し、相対投光角度画像の各画素の値、パタン投影手段、および撮像手段の幾何学的関係とから、三角測量の原理に基づいてストライプパタンの最小幅に対応する領域の精密な部分形状を求める工程と、
ストライプパタンの複数枚の投影画像の各画素ごとに前記複数枚の投影画像における明暗変化をコード化してその画素の値とする絶対投光角度画像を合成し、絶対投光角度画像の各画素の値、パタン投影手段、および撮像手段の幾何学的関係から、三角測量の原理に基づいて概略の全体形状を求める工程と、
前記精密な部分形状の演算結果と、前記概略の全体形状の演算結果とを組み合わせて、被測定対象全体の精密な形状を演算する工程と、
からなることを特徴とする３次元曲面形状の測定方法である。
【００４５】
以上のように、この発明においては、コンピュータに接続されたプロジェクタを用いて、まず被測定対象物表面にマルチスリットパタンをシフトして投影すると共に、同じプロジェクタを用いて、ストライプの明暗の組み合わせにより空間の絶対位置の同定が可能なようコード化された複数のストライプパタンを順次投影する。その際、これらの投影パタンを、投影方向とは異なる方向からカメラで撮影して、個々の投影パタンに対応する画像を得る。以下、投影パタンに応じてそれぞれ、マルチスリット投影画像、ストライプ投影画像と呼ぶ。
【００４６】
まずマルチスリット投影画像については、各画素ごとに各画素の明るさの時間変化をチェックし、その画素が最大輝度を示すタイミングにおけるスリットの相対的投影位置（投光角度）をその画素の値とする相対投光角度画像を作成する。以下、前述のマルチスリットイメージエンコード法により、ストライプパタンの最小幅に対応する領域について、精密な部分形状を求める。
【００４７】
ストライプパタン投影画像については、各画素ごとに各画素の明るさの時間変化をチェックし、ストライプパタンによるコード化を行う。例えば、その明暗変化のシーケンスをコード化して、その画素の値とする絶対投光角度画像を作成する。このようにして、各画素は、そのコードの示す最小幅のストライプ、即ち投光角度のゾーンと対応づけられる。
【００４８】
絶対投光角度画像の各画素の値（投光角度）とパタン投影手段、撮像手段、および対象基準面（形状演算の座標系）の幾何学的関係とから、三角測量の原理に基づいて、被測定対象物表面に投影されたストライプの形状を演算処理により求める。このようにして、最小ストライプ幅での概略の全体形状を求める。
【００４９】
またこの発明においてさらに、複数枚のストライプパタンを、最小ストライプ幅より小さい所定幅シフトして投影し、これらシフトして得られたストライプパタン投影画像と元のストライプパタン投影画像を用いて、一方の投影画像のストライプ境界が投影された付近の画素の投光角度を、他方の投影画像から求めることを特徴とする３次元曲面形状の測定方法とすることもできる。
【００５０】
この発明では、最小ストライプ幅より小さい幅（例えば半幅）シフトしたストライプパタンと元のストライプパタンとを用いることにより、ストライプ境界に近い領域を避けて読み出すことができる。ストライプパタンの境界付近では、測定対象物の動揺や測定装置の振動等により、複数のストライプパタンにおける投影画像の位置がブレることがあり、信頼性の低い領域となる。そこで、この境界付近については、互いにもう一方の投影画像を用いることによりこの影響を避け、信頼性の高い投光角度を決定することができる。
【００５１】
最終的に、これら精密な部分形状演算結果と、概略の全体形状演算結果とを組み合わせて、被測定対象の全体の精密な３次元曲面形状を演算・測定する。
【００５２】
本発明の測定原理を先ず概念的に説明する。先に述べたように、「マルチスリットイメージエンコード法」は測定精度は極めて高いが絶対形状の計測については制約があり、一方、「２値コードパタン投影法」は、分解能限界があり「測定精度」は期待できない。
【００５３】
本発明では、これら２つの方式を融合することにより、「高精度」「絶対値」形状計測を実現する。しかしながら、その実現にあたっては、ひとつクリアするべき大きな課題が存在する。それは、これらの２つの方式を単に合わせると、パタン投影手段がそれぞれ必要となり、装置が大型化するという問題である。
【００５４】
一般にスリット光の投影はレーザを用いて行われる。それに対して、２値コードパタンの投影は、かつてはＯＮ−ＯＦＦコントロール可能なよう専用に構成された液晶ストライププロジェクタをもちいて各液晶ストライプのＯＮ−ＯＦＦにより生成していた。この２つの異なる投影手段の統合を実現するために、本発明では、コンピュータに接続されたプロジェクタを採用する。コンピュータに接続されたプロジェクタは、コンピュータプログラムによって自由にパタンを切り替えることが出来、さらにはその切替速度も近年の技術の進展の中で、テレビカメラの走査速度を上回るようになってきている。
【００５５】
コンピュータに接続されたプロジェクタを用いることにより、２値コードパタンの投影は勿論のこと、スリット光走査についても、画面上に、数走査線分のラインを逐次表示し、表示位置を少しずつずらしていくことによって、複数のスリットからなるパタンを容易に実現することが出来る。すなわち、先に言及した「マルチスリット走査」と「２値コードパタン投影」とを１台の投影手段に纏めることが出来る。
【００５６】
更に本発明では、同一の投影手段によりこれら両者のパタンを投影することにより、スリットパタンとストライプパタンの寸法と位置を同一の基準で設定することができる。従って、測定精度はプロジェクタで生成できるパタンの精度まで、向上させることが可能となる。また、別々の投影手段を組み合わせた場合に不可避である、投影手段間の位置合せ、パタン寸法合わせ等の煩雑な作業を省略することができる。
【００５７】
また、投影パタンをデジタル式のプロジェクタで投影すれば、パタン自体をデジタル値として扱うことができるので、パタンの投光角度等の演算処理が容易となる。従って、パタンの較正等が容易となり、また測定対象（分解能）に応じてスリット間隔、ストライプ幅（最小幅）等、パタンを調整することができる。
【００５８】
【発明の実施の形態】
図１に、本発明の１構成例を示す。プロジェクタはコンピュータに接続され、測定対象表面に、コンピュータで生成されるパタンを投影できるよう配置されている。カメラはプロジェクタの投影方向とは異なる方向から、測定対象表面を観察するよう配置されており、撮影画像はデジタル化されてコンピュータ内に取り込まれる。
【００５９】
なお、プロジェクタおよびカメラについては、前者は液晶やＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）、後者はＣＣＤ素子等を用いた機器により容易に実現できる。なお、ＤＬＰプロジェクタは、微少な鏡面ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）の反射角度制御により投影を行うもので、投影パタンの高速制御が可能となる。
【００６０】
これらの素子の画素数は、目的とする測定精度に応じて適宜選択することができる。例えば、プロジェクタは１０２４×７６８、カメラは６００×４８０等とすれば、出願時における通常の目的には十分である。また、双方の精度のバランスの観点からは、カメラの画素数に対してプロジェクタの画素数を縦横それぞれ１〜２倍程度とすればよい。
【００６１】
図２は、本発明の装置の演算処理システムの構成例を示すブロック図である。演算処理システムはコンピュータにより実現され、パタン投影ブロック３０、画像入力ブロック４０、形状演算ブロック５０、およびシーケンス制御手段９０を備えている。ここで、シーケンス制御手段９０は、これらのブロックと投影手段（プロジェクタ）７、撮像手段（カメラ）８を、所定のシーケンスで動作させるとると共に、これらの間の同期をとる。以下、各ブロックについて説明する。
【００６２】
パタン投影ブロック３０においては、スリットパターン（シーケンス）発生回路３１ａで所定のスリット間隔およびスリット幅のスリットパターンを生成し、更にスリット位置をシフトした複数のスリットパターンを生成する。
【００６３】
同様にここでは、ストライプパターン（シーケンス）発生回路３１ｂで所定のストライプ幅およびストライプ位置からなる複数のストライプパターンを生成する。また、ストライプパターン（シーケンス）発生回路３１ｃは、同３１ｂで作成したストライプパターンに対して、所定幅（例えば、最小ストライプ幅の１／２）シフトさせた複数のストライプパターンを発生させる。
【００６４】
これらのパタンは、これらのスリットおよびストライプパターンは、それぞれ所定の順序でメモリ等に格納しておき、プロジェクタ出力切替回路３２により、順次あるいは交互に投影手段７に出力される。なお、以上の一連の演算処理は、パタン投影制御回路３９の制御により実行される。
【００６５】
投影手段（プロジェクタ）７より被測定対象に投影された各種パタンは、撮像手段（カメラ）８で撮像され、得られた画像信号は随時画像入力ブロック４０に画像信号として入力される。
【００６６】
画像入力ブロック４０では、画像信号を必要に応じてデータ変換し、画像メモに格納する。まずカメラ入力回路４１でカメラからの画像入力（信号）を、画像入力ブロック４０内で処理可能なデータ形式（画像データ）に変換する。次いで画像メモリ切替回路４２では、画像データを対応する投影パタン（スリットパタン、ストライプパタン等）により分類し、対応する画像メモリ４３ａ〜４３ｃに転送する。
【００６７】
スリットパタンおよびストライプパタン用の各シーケンス画像メモリ４３ａ〜４３ｃは、これらの画像データをそれぞれの投影パタンの投影順序のデータ（識別ＩＤ）と共に格納する。ここで、ストライプパタンシーケンス画像メモリ＃１（図中４３ｂ）および同＃２ （図中４３ｃ）は、ストライプパタンを所定幅（最小幅の１／２）シフトさせた投影パタンに対応する画像データを格納している。なお、以上の一連の演算処理は、画像入力制御回路４９の制御により実行される。
【００６８】
形状演算ブロック５０では、これら各画像メモリ４３ａ〜４３ｃに格納された一連の画像データを用いて、被測定物表面の形状を演算処理により求める。スリット投光角度画像合成回路５１ａでは、スリットパタン画像メモリ４３ａより画像データ（スリット画像データ）を読み出し、個々の画素に対してスリットが投影された時の投光角度（スリット投光角度）を求める。
【００６９】
得られたスリット投光角度を用いて、精密部分形状演算回路５２ａでは、三角測量の原理に基づき、被測定物表面の形状を演算する。これにより、隣接スリット間隔を幅とする個々の帯状領域（最小幅のストライプパタンに対応）について、精密な（投影手段の分解能相当の）部分形状が得られる。
【００７０】
同様に、ストライプ投光角度画像合成回路５１ｂ，ｃでは、ストライプパタン画像メモリ４３ ｂ，ｃよりストライプ画像データを読み出す。次いで、個々の画素に対して投影された複数のストライプのシーケンス（順序）から、予め設定してあるコードと投光角度の関係を用いてストライプ投光角度を得る。得られたストライプ投光角度を用いて、概略全体形状演算回路５２ｂでは、三角測量の原理に基づき、最小幅のストライプパタンを単位として、全体の概略形状を算出する。
【００７１】
なお、ストライプ投光角度画像合成回路５１ｂ，ｃは、図では２つの回路で並列処理を行っているが、１つの回路で順次又は交互に処理してもよい。
【００７２】
精密全体形状演算回路５３では、これらの部分・概略形状演算回路５２ａ，ｂにより得られた精密な部分形状と全体の概略形状に基づき、精密な全体の形状を合成する。得られた形状は形状画像メモリ５４に格納し、必要に応じてモニタ表示等の出力を行う。なお、以上の一連の演算処理は、形状演算制御回路５９の制御により実行される。
【００７３】
その他、この演算処理システムの例では、コンピュータの個々の処理を各種の回路やメモリにより表現しているが、これら個々の処理はハードウェアあるいはソフトウェアのいずれで構成してもよい。ソフトウェアで構成する場合は、ハードウェアによる場合よりも演算処理速度は低いが、画素数等が特に高くない限り、実用上は十分短時間で処理可能である。
【００７４】
図３にパタン投影・画像入力手順を示す。測定にあたっては、まず、２値コードパタン投影が行われ、画像がコンピュータ内に入力される。なお、図３の例では、ストライプパタン境界における不確定性の影響を避けるために、最小ストライプ幅の半幅だけシフトしたパタンも併せて投影・撮像している。
【００７５】
図３に示す２値コードパタン画像の各画素の明暗のシーケンスは、投影手段からその画素に対応する対象を見込んだ投光角に対応している。このことから、その明暗シーケンス（投光角度を示すコード）を各画素毎に解読することにより、投光角度画像（投光角度を明るさで表した画像；以下、投光角度画像１と称す）を再生することが出来る。
【００７６】
但し、先にも述べたように、２値コードパタンのストライプ幅は、カメラ分解能との兼ね合いであまり細かくは出来ず、自ずと限界がある。このことから、得られる投光角度画像１は投光角度の絶対値を表しているものの、粗いステップ状の形状を表すこととならざるをえず、精度は高くない。
【００７７】
以上の工程と前後して、マルチスリットパタン投影が行われる。マルチスリットパタン投影は、先にも述べたように、マルチスリットパタンをスリットと直交する方向（この図では上下方向）にシフトしながら、プロジェクタに表示・投影することにより実現される。
【００７８】
図３に示す一連のマルチスリットパタン画像について、「イメージエンコード法」の原理に基づいて、各画素ごとの輝度最大タイミングを演算し合成すると、もうひとつの投光角度画像（以下、投光角度画像２と称す）が得られる。この画像は、先の２値コードパタン画像から演算して得られた投光角度画像１とはその特徴を異にする。
【００７９】
投光角度画像２においては、スリット間の領域の投光角度情報は極めて精密な情報が得られる代わりに、マルチスリットの各スリット相互の区別がつかない。このことから、投光角度情報は「折りたたまれた」情報とならざるを得ず、投光角度の絶対値をこの画像から求めることは出来ない。
【００８０】
ここで、スリット走査方向に「投光角度情報」を「尺取り」方式で接続していけば、絶対投光角度情報が一見得られそうに思われる。しかし、対象形状に「不連続」（大きな段差）があると投光角度の「不確定」が生じ、絶対投光角度情報があらゆる場所で得られるという「保証」はない。
【００８１】
この点について本発明においては、ここまでに得られた２種類の投光角度画像１と２とは、先にも述べたように「絶対角度」と「精度」という視点で、互いに補完しうる特徴を有している。各画素において、投光角度画像１の「ラフな絶対角度」と投光角度画像２の「精密な相対角度」とを演算・合成することにより、「精密」な「絶対角度」からなる投光角度画像（以下、投光角度画像３）を得ることが出来る。
【００８２】
投光角度３が得られさえすれば、あらかじめ判っているプロジェクタ、測定対象、およびカメラの相対的な位置・角度情報をもとに、三角測量原理に基づいて、形状画像（各画素の値が、その画素に対応する測定対象上の凹凸量を表す画像）を容易に求めることが出来る。
【００８３】
図４に、このようして得られた一連の２値コードパタン画像およびマルチスリットパタン画像から、形状を演算・再生する手順の例を示す。
【００８４】
なお、図４の例では、図３の最小ストライプ幅の半幅だけシフトしたパタンを併せて投影・撮像した場合の形状再生例を示している。この場合には、２値コードパタンベースの投光角度画像として、投光角度画像１に加えて、１／２ストライプ幅シフトパタンに対する投光角度画像（以下、投光角度画像１’と称する）が得られる。
【００８５】
投光角度画像２との合成にあたって、投光角度画像１及び１’から「絶対角度」を読み取る際に、それぞれストライプ境界に近い領域（すなわち、信頼性の低い領域）を避けて読み出すような合成を行えばよい。これは例えば、ストライプ境界から所定角度分（投影手段の所定画素分）については互いに他方の投光角度画像を用いることにより実施できる。
【００８６】
この例では、パタン投影手段は１式で構成する例を示したが、測定の「死角」をなくすために、複数方向からパタン投影し、得られる形状を合成して「死角」の少ない形状を得ることは、容易に可能である。図５は、パタン投影手段として複数のプロジェクタ（▲１▼、▲２▼）７を設けた装置構成例を示す図である。
【００８７】
この例では、パタン投影ブロック（▲１▼、▲２▼）３０で前述と同様、スリットパタンおよびストライプパタンを生成し、２台のプロジェクタ▲１▼、▲２▼（投影手段▲１▼、▲２▼）７で順次、交互、又は所定のシーケンスでパタンを投影する。カメラ８で得られた画像信号は、画像入力ブロック４０で画像データに変換される。
【００８８】
形状演算ブロック（▲１▼、▲２▼）５０では、それぞれ前述と同様に部分形状と概略形状を演算処理により算出し、部分形状と概略形状を合成して、それぞれの画像データ▲１▼、▲２▼に基づく精密全体形状（▲１▼、▲２▼）を算出する。形状合成ブロック６０では、得られた精密全体形状▲１▼、▲２▼について、両者の死角となっている部分を互いに他方の形状で補い、「死角」の少ない形状を得る。
【００８９】
これらの例では、撮像手段は１式で構成する例を示したが、測定の「死角」をなくすために、複数方向から撮像し、得られる形状を合成して「死角」の少ない形状を得ることは、容易に可能である。図６は、撮像手段として複数のカメラ（▲１▼、▲２▼）８を設けた装置構成例を示す図である。
【００９０】
この例では、パタン投影ブロック３０で前述と同様、スリットパタンおよびストライプパタンを生成し、プロジェクタ（投影手段）７でそれぞれのパタンを投影する。カメラ（▲１▼、▲２▼）８で得られた画像信号は、画像入力ブロック（▲１▼、▲２▼）４０で画像データ（▲１▼、▲２▼）に変換される。
【００９１】
形状演算ブロック（▲１▼、▲２▼）５０では、それぞれ前述と同様に部分形状と概略形状を演算処理により算出し、部分形状と概略形状を合成して、それぞれの画像データ▲１▼、▲２▼に基づく精密全体形状（▲１▼、▲２▼）を算出する。形状合成ブロック６０では、得られた精密全体形状▲１▼、▲２▼について、両者の死角となっている部分を互いに他方の形状で補い、「死角」の少ない形状を得る。
【００９２】
なお本構成は、飽くまでも本発明の一実施例を示したものであり、以下のような構成のバリエーションは容易に考えることが出来ると共に実施可能である。
【００９３】
（１） これらの例では、投影パタンのスリットおよびストライプの方向は「横方向」の場合を示したが、この方向は「縦方向」でも斜め方向でも、任意の方向で構わない。
【００９４】
（２） これらの例では、パタン投影制御用のコンピュータと画像入力制御用のコンピュータと形状演算用のコンピュータを１台のコンピュータで実施する例を示したが、これを複数のコンピュータ、さらにはネットワーク上のコンピュータで実現することは、容易に可能である。
【００９５】
（３） 特に「セキュリティ分野」のように、被測定者に、測定していることを「気づかせない」ために、赤外光のような不可視光を投影・撮像して形状を測定するように構成することも容易に可能である。これは美容分野等のように、測定を意識させずに被測定者の自然な表情を得る場合にも応用可能である。
【００９６】
【発明の効果】
本発明は、投影手段から複数本のスリット光からなるスリットパタンと１本以上のストライプ状の光からなるストライプパタンとをパタンを変えて複数回投影し、それぞれの投影画像について画像解析を行う。これにより、複数のストライプ状の領域について精密な部分形状を得ると共に、ストライプメッシュ（最小ストライプ幅）での概略の全体形状を得ることにより、測定対象全体の精密な全体形状を合成する。その結果、「高精度」「高速」「ロバスト」な「絶対形状」計測を、「コンパクト」な光学系の構成で実現することが可能となる。
【図面の簡単な説明】
【図１】発明の構成を示す図。
【図２】制御システム構成例を示すブロック図。
【図３】形状演算手順を示す図。
【図４】形状演算例を示す図。
【図５】複数の投影手段を用いた構成例を示す図。
【図６】複数の撮像手段を用いた構成例を示す図。
【図７】光切断法の構成を示す図。
【図８】イメージエンコード法の構成を示す図。
【図９】イメージエンコーダの構成を示す図。
【図１０】マルチスリットイメージエンコード法の構成を示す図。
【図１１】マルチスリットイメージエンコード法の課題を示す図。
【図１２】２値パタン投影法の構成と課題を示す図。
【符号の説明】
１ 基準面
２ 被測定対象物
３ａ スリット光
４ 回転ミラー
７ 投影手段
８ テレビカメラ
８ａ モニタテレビ
１３ 画像合成回路
１８ 最大輝度画像演算部
１９ 画像合成演算部
２０ 同期回路
２１ メモリアドレス発生回路
２２ 出力制御回路
２３ 最大輝度画像メモリ
２５ 最大輝度画像メモリ制御回路
２６ 比較回路
２７ スイッチ回路
２８ 合成画像メモリ
３０ パタン投影ブロック
３１ａ〜３１ｃ パターン（シーケンス）発生回路
３２ プロジェクタ出力切替回路
３９ パタン投影制御回路
４０ 画像入力ブロック
４１ カメラ入力回路
４２ 画像メモリ切替回路
４３ａ〜４３ｃ 画像メモリ
４９ 画像入力制御回路
５０ 形状演算ブロック
５１ａ〜５１ｃ 角度画像合成回路
５２ａ 精密部分形状演算回路
５２ｂ 概略全体形状演算回路
５３ 精密全体形状演算回路
５４ 形状画像メモリ
５９ 形状演算制御回路
６０ 形状合成ブロック
９０ シーケンス制御手段
θ スリット光投光角度（基準面の法線となす角度 、従来技術では基準面となす角度）
Ｚ 基準面からの高さ

Claims (13)

1. 被測定対象物表面に複数本のスリット光からなるスリットパタンと１本以上のストライプ状の光からなるストライプパタンとをそれぞれ投影するパタン投影手段と、被測定物表面に投影されたスリットパタン及びストライプパタンを投影方向とは異なる方向から撮影する撮像手段と、撮影されたパタン投影画像を画像処理して前記被測定対象物の３次元曲面形状を演算する形状演算手段とを備えたことを特徴とする３次元曲面形状の測定装置。
2. スリットパタンは、スリット方向と直交する方向にシフトされたパタンが複数回投影されることを特徴とする請求項１記載の３次元曲面形状の測定装置。
3. 複数のストライプパタンは、各パタンのストライプの明暗の組み合わせが投影された位置への投光角度に対応するコードを示すことを特徴とする請求項１又は請求項２記載の３次元曲面形状の測定装置。
4. スリットパタンおよびストライプパタンを投影するパタン投影手段として、任意のパタンが投影可能な同一のプロジェクタを用いることを特徴とする請求項１ないし請求項３記載の３次元曲面形状の測定装置。
5. 形状演算にあたっては、複数本のスリットパタンの複数枚の投影画像からの形状演算結果と、コード化されたストライプパタンの複数枚の投影画像からの形状演算結果とを組み合わせて、形状を演算することを特徴とする請求項１ないし請求項４記載の３次元曲面形状の測定装置。
6. 複数本のスリットパタンの投影画像からの形状演算において、各画素ごとに各画素の時間変化をチェックし、各画素が最大輝度を示すタイミングにおけるスリットの投影位置をその画素の値とする投光角度画像を合成し、投光角度画像の各画素の値と、パタン投影手段・撮像手段・対象基準面の幾何学的関係とから、三角測量の原理に基づいてストライプパタンの最小幅に対応する領域の精密な部分形状を求めることを特徴とする請求項１ないし請求項５記載の３次元曲面形状の測定装置。
7. コード化されたストライプパタンの複数枚の投影画像からの形状演算において、各画素ごとに各画素の時間変化をチェックし、その明暗変化のシーケンスをその画素の値とする投光角度画像を合成し、投光角度画像の各画素の値とパタン投影手段・撮像手段・対象基準面の幾何学的関係とから、三角測量の原理に基づいて概略の全体形状を求めることを特徴とする請求項１ないし請求項６記載の３次元曲面形状の測定装置。
8. パタン投影手段の投影画像の生成と、撮像手段から得られる光パタン画像の画像処理とを、同一のコンピュータで実行することを特徴とする請求項１ないし請求項７記載の３次元曲面形状の測定装置。
9. パタン投影手段を複数有することを特徴とする請求項１ないし請求項８記載の３次元曲面形状の測定装置。
10. 撮像手段を複数有することを特徴とする請求項１ないし請求項９記載の３次元曲面形状の測定装置。
11. 投影・撮像手段として不可視光を用いることを特徴とする請求項１ないし請求項１０記載の３次元曲面形状の測定装置。
12. 任意のパタンが投影可能なプロジェクタを用いて、被測定対象物表面に複数本のスリット光からなるスリットパタンをスリット方向と直交する方向にシフトさせて複数回投影する工程と、
    前記プロジェクタを用いて、ストライプの明暗の組み合わせによりパタン内の位置をコード化するための複数のストライプパタンを投影する工程と、
    被測定物表面に投影された光パタンを投影方向とは異なる方向から撮影する工程と、
    スリットパタンの複数の投影画像の中から、各画素ごとに最大輝度を示す投影画像を選択し、その投影画像に対応するスリットの相対的投光角度を前記各画素の値とする相対投光角度画像を合成し、相対投光角度画像の各画素の値、パタン投影手段、および撮像手段の幾何学的関係とから、三角測量の原理に基づいてストライプパタンの最小幅に対応する領域の精密な部分形状を求める工程と、
    ストライプパタンの複数枚の投影画像の各画素ごとに前記複数枚の投影画像における明暗変化をコード化してその画素の値とする絶対投光角度画像を合成し、絶対投光角度画像の各画素の値、パタン投影手段、および撮像手段の幾何学的関係から、三角測量の原理に基づいて概略の全体形状を求める工程と、
    前記精密な部分形状の演算結果と前記概略の全体形状の演算結果とを組み合わせて、被測定対象全体の精密な形状を演算する工程と、
    からなることを特徴とする３次元曲面形状の測定方法。
13. 複数枚のストライプパタンを、最小ストライプ幅より小さい所定幅シフトして投影し、これらシフトして得られたストライプパタンの投影画像と元のストライプパタンの投影画像とを用いて、一方の投影画像の中でストライプ境界が投影された付近の画素の投光角度を、他方の投影画像から求めることを特徴とする請求項１２記載の３次元曲面形状の測定方法。

Images