JP2007071891A - ３次元計測装置 - Google Patents

Abstract

【課題】単一のセンサにより距離画像（距離を測定するための画像）と表示のための画像との両方を入力することができる３次元計測装置を提供する。
【解決手段】３次元計測装置は、フィルタ８０ｃと、単一のモノクロ（またはカラー）ＣＣＤセンサ５３ｃとを備える。測定対象物の３次元形状を算出するための画像を単一のＣＣＤセンサ５３ｃで取込み、取込まれた３次元形状を算出するための画像から、測定対象物を表示するための画像を作成する。これにより、３次元形状の算出を可能とするとともに、表示画像の取得を可能とする。
【選択図】図７

Description

この発明は３次元計測装置に関し、特に測定対象物に対して参照光を投光して、その反射光を受光することで３次元データを取込むいわゆるアクティブタイプの３次元計測装置に関する。

従来、測定対象物に対して参照光を投光して、その反射光を受光することで３次元データを取込むいわゆるアクティブタイプの３次元計測装置が知られている。このようなアクティブタイプの３次元計測装置においては、距離画像（距離を測定するための画像であって、測定対象物の３次元形状を算出するための画像）とカラー画像（測定対象物を表示するための画像）の両方の画像が入力できる装置が知られている（たとえば、下記特許文献１（特開平９−１４５３１９号公報））。

図１９はそのようなアクティブタイプの３次元計測装置の構成を示すブロック図である。

図を参照して、ビームスプリッタ（分光プリズム）５２は、色分解膜（ダイクロックミラー）５２１、色分解膜５２１を挟む２つのプリズム５２２，５２３、プリズム５２２の射出面に設けられた距離画像用ＣＣＤセンサ５３、プリズム５２３の射出面に設けられたカラー画像用ＣＣＤセンサ５４とから構成されている。

参照光である半導体レーザにより測定対象物は走査され、測定対象物からの反射光は受光レンズ５１ａに入射される。

受光レンズ５１ａから入射した光は、プリズム５２２を通って色分解膜５２１に入射する。半導体レーザの発振帯域の光Ｕ０は色分解膜５２１で反射した後、距離画像用ＣＣＤセンサ５３に向かって射出する。

一方、色分解膜５２１を透過した光Ｃ０は、プリズム５２３を通ってカラー画像用ＣＣＤセンサ５４に向かって射出する。

距離画像用ＣＣＤセンサ５３は、距離画像用ＣＣＤドライバ２０４により駆動される。カラー画像用ＣＣＤセンサ５４は、カラー画像用ＣＣＤドライバ２０３により駆動される。

距離画像用ＣＣＤセンサ５３の出力は、Ａ／Ｄコンバータ（出力処理回路）２０２で処理された後、距離画像フレームメモリ２０６に記憶される。カラー画像用ＣＣＤセンサ５４の出力は、Ａ／Ｄコンバータ（出力処理回路）２０１で処理された後、カラー画像フレームメモリ２０５に記憶される。
特開平９−１４５３１９号公報

上述のように、従来のアクティブタイプの３次元計測装置においては、２つのＣＣＤセンサ５３，５４が用いられていたため、以下のような問題点があった。

（１） 距離画像とカラー画像とのずれが生じないようにするために、２つのＣＣＤセ
ンサの取付位置の微妙な調整が必要である。

（２） 参照光として主に近赤外光が使われるため、距離画像用の近赤外光とカラー画像用の可視光との分光ができるプリズムの作製が必要である。

（３） カラー画像の画質が上記プリズムの分光特性に依存する。
この発明は上記の問題点を解決するためになされたものであり、２つのセンサが３次元計測装置に用いられることにより生ずる問題点を解決することをその目的としている。

上記目的を達成するため、本発明のある局面に従うと３次元計測装置は、測定対象物に向けて参照光を投光する投光手段と、測定対象物からの反射光を受光する受光手段と、受光された反射光から、測定対象物の３次元形状を算出する算出手段とを備えた３次元計測装置であって、測定対象物の３次元形状を算出するための画像を単一のモノクロセンサで取込み、取込まれた３次元形状を算出するための画像から測定対象物を表示するための画像を作成することにより、算出手段による３次元形状の算出を可能とするとともに、表示画像の取得を可能とすることを特徴としている。

好ましくは、測定対象物の３次元形状を算出するための画像は、投光手段により投光される参照光の波長に応じたバンドパスフィルタを介して取得される。

好ましくは投光手段は、測定対象物にスリット光を走査し、受光手段は、スリット光の走査中に測定対象物からの反射光をサンプリングすることで３次元形状を算出するための画像データを取得するとともに、サンプリングした受光データに対する重心演算によって算出された重心値を距離画像として表示することを特徴とする。

好ましくは投光手段は、測定対象物にスリット光を走査し、受光手段は、スリット光の走査中に測定対象物からの反射光をサンプリングすることで３次元形状を算出するための画像データを取得するとともに、サンプリングした受光データの各画素値についての総和を輝度画像として表示することを特徴とする。

この発明に従うと、単一のセンサにより測定対象物の３次元形状を算出するための画像と、測定対象物を表示するための画像とが取込まれるため、従来のように２つのセンサの取付位置の調整を行なうことが不要となる。また、近赤外光と可視光の分光を行なうことができるプリズムの作製が不要となり、カラー画像の画質を向上させることができる。

図１は、本発明の第１の実施の形態における計測システム１の構成を示す図である。図を参照して計測システム１は、スリット光投光法によって立体計測を行なう３次元カメラ（レンジファインダ）２と、３次元カメラ２の出力データを処理するホスト３とから構成されている。

３次元カメラ２は、物体Ｑ上の複数のサンプリング点の３次元位置を特定する計測データ（スリット画像データ）とともに、物体Ｑのカラー情報を示す２次元画像およびキャリブレーションに必要なデータを出力する。三角測量法を用いてサンプリング点の座標を求める演算処理はホスト３が担う。

ホスト３は、ＣＰＵ３ａ、ディスプレイ３ｂ、キーボード３ｃ、およびマウス３ｄなどから構成されたコンピュータシステムである。ＣＰＵ３ａには計測データ処理のためのソフトウェアが組込まれている。ホスト３と３次元カメラ２との間では、オンラインおよび
可搬型の記録メディア４によるオフラインの両方の形態のデータ受渡しが可能である。記録メディア４としては、光磁気ディスク（ＭＯ）、ミニディスク（ＭＤ）、メモリカードなどがある。

図２は、３次元カメラ２の外観を示す図である。ハウジング２０の前面に投光窓２０ａおよび受光窓２０ｂが設けられている。投光窓２０ａは受光窓２０ｂに対して上側に位置する。内部の光学ユニットＯＵが射出するスリット光（所定幅ｗの帯状のレーザビーム）Ｕは、投光窓２０ａを通って計測対象の物体（被写体または測定対象物）に向かう。スリット光Ｕの長さ方向Ｍ１の放射角度φは固定である。物体の表面で反射したスリット光Ｕの一部が受光窓２０ｂを通って光学ユニットＯＵに入射する。なお、光学ユニットＯＵは、投光軸と受光軸との相対関係を適正化するための２軸調整機構を備えている。

ハウジング２０の上面には、ズーミングボタン２５ａ，２５ｂ、手動フォーカシングボタン２６ａ，２６ｂ、およびシャッタボタン２７が設けられている。図２（ｂ）のようにハウジング２０の背面には、液晶ディスプレイ２１、カーソルボタン２２、セレクトボタン２３、キャンセルボタン２４、アナログ出力端子３２、デジタル出力端子３３、および記録メディア４の着脱口３０ａが設けられている。

液晶ディスプレイ２１（ＬＣＤ）は、走査画面の表示手段および電子ファインダとして用いられる。撮影者は背面の各ボタン２２〜２４によって撮影モードの設定を行なうことができる。デジタル出力端子３３からは計測データが出力され、アナログ出力端子３２からは２次元画像信号がたとえばＮＴＳＣ形式で出力される。デジタル出力端子３３はたとえばＳＣＳＩ端子である。

図３は３次元カメラ２の機能構成を示すブロック図である。図中の実線矢印は電気信号の流れを示し、破線矢印は光の流れを示している。

３次元カメラは、上述の光学ユニットＯＵを構成する投光側および受光側の２つの光学系４０，５０を有している。光学系４０において、半導体レーザ（ＬＤ）４１が射出する波長６７０ｎｍのレーザビームは、投光レンズ系４２を通過することによってスリット光Ｕとなり、ガルバノミラー（走査手段）４３によって偏向される。半導体レーザ４１のドライバ４４、投光レンズ系４２の駆動系４５、およびガルバノミラー４３の駆動系４６は、システムコントローラ６１によって制御される。

光学系５０において、ズームユニット５１によって集光された光はフィルタ８０Ａに入射される。フィルタ８０Ａの詳細については後述する。フィルタ８０Ａを介した入射光はカラー計測用センサ（ＣＣＤ）５３ａに入射される。ズームユニット５１は内焦型であり、入射光の一部がオートフォーカシング（ＡＦ）に利用される。ＡＦ機能は、ＡＦセンサ５７とレンズコントローラ５８とフォーカシング駆動系５９によって実現される。ズーミング駆動系６０は電動ズーミングのために設けられている。

カラー計測用センサ５３ａによる撮像情報は、ドライバ５５からのクロックに同期してメモリ６３またはカラー処理回路６７へ転送される。カラー処理回路６７においてカラー処理を受けた撮像情報は、ＮＴＳＣ変換回路７０およびアナログ出力端子３２を経てオンライン出力され、またはデジタル画像生成部６８で量子化されてカラー画像メモリ６９に格納される。その後、カラー画像データがカラー画像メモリ６９からＳＣＳＩコントローラ６６へ転送され、デジタル出力端子３３からオンライン出力され、または計測データと対応付けて記録メディア４に格納される。なお、カラー画像は、カラー計測用センサ５３ａによる距離画像と同一画角の像であり、ホスト３側におけるアプリケーション処理に際して参考情報として利用される。カラー情報を利用する処理としては、たとえばカメラ焦
点の異なる複数組の計測データを組合せて３次元形状モデルを生成する処理、３次元形状モデルの不要の頂点を間引く処理などがある。システムコントローラ６１は、図示しないキャラクタジェネレータに対して、ＬＣＤ２１の画面上に適切な文字や記号を表示するための指示を与える。

出力処理回路６２は、カラー計測用センサ５３ａの出力する各画素ｇの光電変換信号を増幅する増幅器、および光電変換信号を８ビットの受光データに変換するＡ／Ｄ変換部を有している。メモリ６３は、２００×３２×３３Ｂｙｔｅの記憶容量を持つ読み書き可能なメモリであり、出力処理回路６２から出力される受光データを記憶する。メモリ制御回路６３Ａは、メモリ６３への書込および読出のアドレス指定を行なう。

重心演算回路７３は、メモリ６３に記憶された受光データに基づいて、計測対象の物体の形状に対応した濃淡画像を生成して表示用メモリ７４に出力し、また３次元位置を算出するための基となるデータを算出し出力用メモリ６４に出力する。ＬＣＤ２１の画面には、表示用メモリ７４に記憶された濃淡画像、カラー画像メモリ６９に記憶されたカラー画像などが表示される。

なおＮＴＳＣ変換回路７０は、ビデオＤ／Ａ（アナログ画像生成回路）を含んでいる。フィルタ８０Ａはフィルタ切換機構８１Ａにより切り換えられる。

図４は、図３のフィルタ８０Ａとフィルタ切換機構８１Ａの周辺部分の詳細を示す図である。

図を参照して、フィルタ８０ＡにはＩＲ（赤外線）カットフィルタ８０ａとバンドパスフィルタ８０ｂとが含まれている。フィルタ切換機構８１Ａは、ズームユニット５１に含まれる受光レンズ５１ａを介して入射された光がＩＲカットフィルタ８０ａを介してカラー計測用センサ５３ａに入射されるか、またはバンドパスフィルタ８０ｂを介してカラー計測用センサ５３ａに入射されるかを切換える。すなわち距離画像を取込む際には参照光の波長に応じたバンドパスフィルタ８０ｂが用いられ、表示用のカラー画像取込時にはＩＲカットフィルタ８０ａが使用される。カラー計測用センサ５３ａはドライバ５５により駆動される。距離画像は前述のとおり、出力処理回路６２において処理された後、メモリ６３に取込まれる。カラー画像データはカラー処理回路６７へ出力される。

このように本実施の形態における計測システムにおいては距離画像とカラー画像の両方をタイミングをずらすことで同一のカラー計測用センサ５３ａで取込んでいる。測定対象物が静止状態または動きが極めて遅い場合には、このタイミングのずれは計測において特に問題とはならない。

なお使用する受光レンズ５１ａと参照光の波長によっては、可視光の焦点位置と参照光の焦点位置とにずれが生じる場合がある。この場合、使用されるフィルタ８０ａ，８０ｂの厚みを変えることで焦点位置が一致するように調整することができる。

カラー計測用センサ５３ａ（ＣＣＤ）には、少なくとも１つのチャンネルで参照光の波長帯域での受光感度特性が得られているセンサが使用される。カラー計測用センサ５３ａの一部のチャンネルが参照光の波長帯域での受光感度特性を有している場合には、受光感度特性を有している特定チャンネルのみが距離画像取込に用いられる。たとえばＲ（赤）チャンネルのみが距離画像取込に用いられる。カラー計測用センサ５３ａの全チャンネルが参照光の波長帯域での受光感度特性を有している場合（測定に影響がない程度である場合）には、全チャンネル（Ｒ，Ｇ（緑），Ｂ（青））が距離画像取込に使用される。

なお、フィルタ８０Ａはカラー計測用センサ５３ａの前段であればどこに入れても構わない。しかしながら、受光レンズ５１ａとカラー計測用センサ５３ａとの間に設置するのが望ましい。なぜならばこれによりフィルタ８０ａ，８０ｂの面積を小さくすることができ、フィルタ切換機構８１Ａに対する負担も小さくて済むからである。

また、本実施の形態においては（Ｒ，Ｇ，Ｂ）の構成のカラーＣＣＤを用いた例について説明したが、（Ｇ，Ｃｙ，Ｙｅ，Ｍｇ）の構成のカラーＣＣＤをカラー計測用センサ５３ａとして用いてもよい。

本実施の形態における構成を採用することにより、距離画像とカラー画像とが同一のセンサにより読取られるため、従来のように２つのセンサの取付位置の調整を行なう必要がなくなる。また、近赤外光と可視光との分光を行なうことができるプリズムの作製が不要となり、カラー画像の画質を向上させることができる。

さらに、センサが１つで済むため、周辺回路を従来よりも削減することが可能となる。
図５は本発明の第２の実施の形態における３次元カメラの構成を示すブロック図である。第２の実施の形態における３次元カメラが第１の実施の形態と異なる点について以下に説明する。第２の実施の形態においては、第１の実施の形態におけるフィルタ８０Ａ（図３参照）の代わりにフィルタ８０Ｂが用いられている。また、フィルタ切換機構８１Ａ（図３参照）の代わりにフィルタ切換機構８１Ｂが用いられている。また、カラー計測用センサ５３ａ（図３参照）の代わりにモノクロ計測用センサ（モノクロＣＣＤ）５３ｂが用いられている。第２の実施の形態ではモノクロ計測用センサ５３ｂの出力がデジタル画像生成部６８に直接入力される。すなわち第２の実施の形態においてはカラー処理回路６７は設けられていない。

図６は本実施の形態におけるフィルタ８０Ｂとモノクロ計測用センサ５３ｂの周囲の構成を示す図である。

フィルタ８０ＢはＢフィルタ８０ｃとＧフィルタ８０ｄとＲフィルタ８０ｅとバンドパスフィルタ８０ｆとを含んでいる。Ｂフィルタ８０ｃ、Ｇフィルタ８０ｄ、およびＲフィルタ８０ｅはカラー画像用のフィルタである。フィルタ切換機構８１Ｂはそれぞれのフィルタを切換えることにより、受光レンズ５１ａを介して入射された反射光がいずれかのフィルタを介した後モノクロ計測用センサ５３ｂに入射されるように制御を行なう。モノクロ計測用センサ５３ｂはドライバ５５により駆動され、モノクロ計測用センサ５３ｂの出力は出力処理回路６２を介してメモリ６３またはデジタル画像生成部６８に入力される。

本実施の形態においてはフィルタ切換機構８１Ｂにおいてフィルタの切換を行ない、距離画像の取込時には参照光の波長に応じたバンドパスフィルタ８０ｆを使用する。一方、カラー画像取込時にはＲ，Ｇ，Ｂフィルタ８０ｃ〜８０ｅを順次使用して色画像に対応した３回の画像取込を行なう。

本実施の形態においてはモノクロの計測用センサ５３ｂを使うことができるため、その周辺の駆動回路や処理回路を第１の実施の形態よりも減少させることができ、装置のコストを下げることができる。

なお、上記の実施の形態においてはＲ，Ｇ，Ｂの色分離フィルタを用いることとしたが、Ｃ，Ｍ，Ｙの色分離フィルタを用いるようにしてもよい。またカラー画像を再現するのであればその他の色の構成を採用してもよい。

図７は本発明の第３の実施の形態における３次元カメラの構成を示すブロック図である
。本実施の形態における３次元カメラが第１の実施の形態と異なる点について以下に説明する。本実施の形態における３次元カメラにおいてはカラー画像は表示されない。モノクロの輝度画像のみがＬＣＤ２１に表示されることになる。図３におけるフィルタ８０Ａおよびカラー計測用センサ５３ａに代えて本実施の形態においてはフィルタ８０Ｃおよびモノクロ計測用センサ５３ｃ（またはカラー計測用センサでもよい）が採用されている。また、図３におけるフィルタ切換機構８１Ａと、カラー処理回路６７と、デジタル画像生成部６８とカラー画像メモリ６９と、ＮＴＳＣ変換部７０と、アナログ出力端子３２とは本実施の形態においては採用されていない。

図８は図７のフィルタ８０Ｃおよびモノクロ計測用センサ５３ｃの周辺の構成を説明するための図である。

フィルタ８０Ｃはバンドパスフィルタ８０ｇのみを含む。受光レンズ５１ａを介して入力された測定対象物からの反射光は、バンドパスフィルタ８０ｇを介してモノクロ計測用センサ５３ｃに入力される。モノクロ計測用センサ５３ｃはドライバ５５により駆動される。モノクロ計測用センサ５３ｃの出力は出力処理回路６２を介してメモリ６３に入力される。

本実施の形態においては、モノクロ計測用センサ５３ｃにより撮像された画像データが距離画像および表示用画像として用いられる。すなわち本実施の形態においても１つのセンサにより距離画像と表示用画像との入力を行なっている。

表示用に用いられるモノクロの輝度画像として重心演算に使用されているデータであるΣｘｉが使用される。まずΣｘｉの取得の方法と表示用のモノクロの輝度画像として使用できる理由について説明する。

図９は投光レンズ系４２の構成を示す模式図である。図９（ａ）は正面図であり、図９（ｂ）は側面図である。

投光レンズ系４２は、コリメータレンズ４２１、バリエータレンズ４２２、およびエキスパンダレンズ４２３の３つのレンズから構成されている。半導体レーザ４１が射出したレーザビームに対して、次の順序で適切なスリット光Ｕを得るための光学的処理が行なわれる。まず、コリメータレンズ４２１によってビームが平行化される。次にバリエータレンズ４２２によってレーザビームのビーム径が調整される。最後にエキスパンダレンズ４２３によってビームがスリット長さ方向Ｍ１に広げられる。

バリエータレンズ４２２は、撮影距離および撮影の画角にかかわらず、計測用センサ５３ｃに３以上の複数画素分の幅のスリット光Ｕを入射させるために設けられている。駆動系４５は、システムコントローラ６１の指示に従って、計測用センサ５３ｃ上でのスリット光Ｕの幅ｗを一定に保つようにバリエータレンズ４２２を移動させる。バリエータレンズ４２２と受光側のズームユニット５１とは連動する。

ガルバノミラー４３による偏光の以前にスリット長を広げることにより、偏光の後で行なう場合に比べてスリット光Ｕの歪みを低減することができる。エキスパンダレンズ４２３を投光レンズ系４２の最終段に配置することにより、すなわちガルバノミラー４３に近づけることにより、ガルバノミラー４３を小型化することができる。

図１０は計測システム１における３次元位置の算出の原理図である。同図では理解を容易にするため、受光量のサンプリングについて５回分のみが示されている。

計測用センサ５３ｃの撮像面Ｓ２上で複数画素分となる比較的に幅の広いスリット光Ｕを物体Ｑに照射する。具体的にはスリット光Ｕの幅を５画素分とする。スリット光Ｕは、サンプリング周期ごとに撮像面Ｓ２上で１画素ピッチｐｖだけ移動するように、図１０の上から下に向かって偏光され、それによって物体Ｑが走査される。サンプリング周期ごとにモノクロ計測用センサ５３ｃから１フレーム分の受光データ（光電変換情報）が出力される。なお、この偏光は実際には等角速度で行なわれる。

撮像面Ｓ２の１つの画素ｇに注目すると、本実施の形態においては、走査中に行なう３２回のサンプリングによって３２回分の受光データが得られる。これら３２回分の受光データに対する重心演算によって、注目画素ｇがにらむ範囲の物体表面ａｇをスリット光Ｕの光軸が通過するタイミング（時間重心Ｎｐｅａｋまたは重心ｉｐ）を求める。

物体Ｑの表面が平面であって光学系の特性によるノイズがない場合には、注目画素ｇの受光量は、図１０（ｂ）に示すように、スリット光Ｕが通過するタイミングにおいて多くなり、通常、正規分布に近くなる。同図のようにｎ回目とその１つ前の（ｎ−１）回目の間のタイミングで受光量が最大であった場合には、そのタイミングが時間重心Ｎｐｅａｋとほぼ一致する。

求めた時間重心Ｎｐｅａｋにおけるスリット光の照射方向と、注目画素に対するスリット光の入射方向との関係に基づいて、物体Ｑの位置（座標）を算出する。これにより、撮像面の画素ピッチｐｖで規定される分解能より高い分解能の計測が可能となる。

なお、注目画素ｇの受光量は物体Ｑの反射率に依存する。しかし、サンプリングの各受光量の相対比は受光の絶対量にかかわらず一定である。つまり、物体色の濃淡は計測精度に影響しない。

図１１はモノクロ計測用センサ５３ｃの読出範囲を示す図である。
図１１に示すように、モノクロ計測用センサ５３ｃにおける１フレームの読出は、撮像面Ｓ２の全体ではなく、高速化を図るために撮像面Ｓ２の一部である有効受光領域（帯状画像）Ａｅのみを対象に行なわれる。有効受光領域Ａｅは、スリット光Ｕのある照射タイミングにおける物体Ｑの計測可能距離範囲ｄ′に対応する撮像面Ｓ２上の領域であり、スリット光Ｕの偏光に伴ってフレームごとに１画素分ずつシフトする。本実施の形態では、有効受光領域Ａｅのシフト方向の画素数は３２に固定されている。ＣＣＤエリアセンサの撮影像の一部のみを読出す手法は、特開平７−１７４５３６号公報に開示されている。

図１２はモノクロ計測用センサ５３ｃの撮像面Ｓ２におけるラインとフレームとの関係を示す図であり、図１３〜１５はメモリ６３における各フレームの受光データの記憶状態を示す図である。

図１２に示すように、撮像面Ｓ２の最初のフレームであるフレーム１には、ライン１からライン３２までの３２（ライン）×２００画素分の受光データが含まれる。フレーム２はライン２からライン３３まで、フレーム３はライン３からライン３４までというように、フレームごとに１ライン分だけシフトされる。フレーム３２はライン３２からライン６３までである。なお、上述したように１ラインを２００画素としている。

これらフレーム１からフレーム３２までの受光データが、出力処理回路６２を介してメモリ６３に順次転送され、図１３に示す状態でメモリ６３に記憶される。

つまり、メモリ６３には、フレーム１、２、３…の順に受光データが記憶される。各フレームに含まれるライン３２のデータは、フレーム１については３２ライン目、フレーム
２については３１ライン目というように、フレームごとに１ラインずつ上方にシフトされている。フレーム１からフレーム３２までの受光データがメモリ６３に記憶されると、ライン３２の各画素について、時間重心Ｎｐｅａｋの算出が行なわれる。

ライン３２についての演算が行なわれている間に、フレーム３３の受光データがメモリ６３に転送されて記憶される。図１４に示すように、フレーム３３の受光データは、メモリ６３のフレーム３２の次の領域に記憶される。フレーム３３のデータがメモリ６３に記憶されると、これらフレーム２からフレーム３３までに含まれるライン３３の各画素について、時間重心Ｎｐｅａｋの算出が行なわれる。

ライン３３についての演算が行なわれている間に、フレーム３４の受光データがメモリ６３に転送されて記憶される。図１５に示すように、フレーム３４の受光データは、フレーム１の記憶されていた領域に上書きされる。この時点ではフレーム１のデータは処理済であるため、上書きにより消去しても差支えないからである。フレーム３４のデータがメモリ６３に記憶されると、ライン３４の各画素について、時間重心Ｎｐｅａｋの算出が行なわれる。フレーム３４の受光データについての処理が終わると、フレーム３５の受光データがフレーム２の記憶されていた領域に上書きされる。

このようにして、最終のラインであるライン２３１まで、合計２００ライン分についての時間重心Ｎｐｅａｋの算出が行なわれる。

上述のように、メモリ６３に記憶された受光データのうち、順次不要になったデータの記憶された領域に新規の受光データを上書きして記憶するので、メモリ６３の容量が低減される。

次に、重心演算回路７３の構成および重心演算回路７３による時間重心Ｎｐｅａｋの算出処理について説明する。

図１６は重心演算回路７３の構成を示すブロック図であり、図１７はデータの転送のタイミングの概念を示す図であり、図１８は時間重心Ｎｐｅａｋの概念を示す図である。

図１８に示されるように、時間重心Ｎｐｅａｋは、３２回のサンプリングによって得られた３２個の受光データについての重心である。各画素についての３２個の受光データに、１〜３２のサンプリング番号を付す。ｉ番目の受光データはｘｉで表わされる。ｉは１〜３２の整数である。このとき、ｉは、１つの画素について、その画素が有効受光領域Ａｅに入ってからのフレーム数を示している。

１〜３２番の受光データｘ１〜ｘ３２についての重心ｉｐは、３２個の受光データについて、ｉ・ｘｉの総和Σｉ・ｘｉをｘｉの総和Σｘｉで除すことにより求められる。すなわち、

となる。
重心演算回路７３は、メモリ６３から読出したデータに基づいて、各画素についての重心ｉｐ（すなわち時間重心Ｎｐｅａｋ）を算出する。ただし、メモリ６３から読出したデータをそのまま用いるのではなく、各データから定常光データｋｓを減算した値（その値が負になるときは０）を用いる。つまり、計測用センサ５３ｃから出力される受光データに対して、定常光データｋｓの分だけ差し引いてオフセットを与えるのである。

定常光データｋｓは、スリット光Ｕが入射していないときの画素の受光データに基づいて算出されるデータである。定常光データｋｓは、予め定めた固定値を用いてもよく、またはモノクロ計測用センサ５３ｃから出力されるデータを用いてリアルタイムで求めてもよい。固定値とする場合にはモノクロ計測用センサ５３ｃの出力が８ビット（２５６階調）である場合に、たとえば「５」「６」または「１０」などとする。リアルタイムで求める場合には、１つの注目画素についての３２個の受光データの前後各２画素分の受光データのそれぞれの平均値を求め、平均値の小さい方を定常光データｋｓとすればよい。その理由は、有効受光領域Ａｅの前後のいずれかにおいてはスリット光Ｕが入射していないから、これによってスリット光Ｕが入射していないときの受光データをリアルタイムで確実に求めることができるからである。また、前後各２画素分の受光データの平均値の大きい方を定常光データｋｓとしてもよい。３２個の受光データの前の２画素分の受光データの平均値、または３２個の受光データの後の２画素分の受光データの平均値を用いてもよい。１画素分の受光データを用いてもよい。さらに、物体Ｑの形状または受光データに含まれるノイズの状態によっては、それらの値にさらに所定値（たとえば「５」）を加算した値を定常光データｋｓとして用い、これによりオフセットを大きくし、不要なノイズ成分を一層確実にカットするようにしてもよい。なお、それらの場合に、１フレームの大きさは、３６ラインまたは３４ラインまたは３３ラインとなるが、重心ｉｐの算出には３２ライン分の３２個のデータを用いればよい。

さて、図１６において、重心演算回路７３は、定常光データ記憶部７３１、減算部７３２、第１加算部７３３、第２加算部７３４、および除算部７３５からなる。これらはソフトウェアを用いることによって実現されるが、これらの全部まては一部をハードウェア回路により構成することも可能である。

定常光データ記憶部７３１は、定常光データｋｓを記憶する。減算部７３２は、入力された受光データから定常項データｋｓを減算する。ここで、減算部７３２から出力されるデータを改めて受光データｘｉとする。第１加算部７３３は、ｉ・ｘｉをｉ＝１〜３２について加算し、その合計値を出力する。第２加算部７３４は、ｘｉをｉ＝１〜３２について加算し、その合計値を出力する。除算部７３５は、第１加算部７３３の出力値を第２加算部７３４の出力値で除し、重心ｉｐを出力する。除算部７３５から出力された重心ｉｐは、表示用メモリ７４に記憶される。また、第１加算部７３３の出力値および第２加算部７３４の出力値は、それぞれ出力用メモリ６４ａ，６４ｂに記憶される。出力用メモリ６４ａ，６４ｂに記憶されたデータは、ＳＣＳＩコントローラ６６を介してデジタル出力端子３３からホスト３に出力され、または記録メディア４に格納される。ホスト３において、これらのデータに基づいて３次元位置演算処理が行なわれ、またこれらのデータの信頼性が判定される。

図１７を参照して、メモリ制御回路６３Ａは、１つの画素について、重心演算回路７３による上述の処理が行なわれるように、メモリ６３のアドレスを画素ごとに順次指定する。たとえば、最初のライン３２については、図１７に示すフレーム１に含まれるライン３２の１画素目のデータ、フレーム２に含まれるライン３２の１画素目のデータというように、ライン３２の１画素目のデータについてフレーム１から３２までの合計３２個のデータを順にアドレス指定する。アドレス指定されることによって、メモリ６３からデータが
読出されて重心演算回路７３に送り込まれる。ライン３２についての演算が行なわれている間に、次のフレーム３３の受光データがメモリ６３に転送される。以降においても、メモリ６３からの読出と書込とが並行して行なわれ、これによって回路が効率よく動作する。

重心演算回路７３では、３２個のデータが入力された時点で、除算部７３５が重心ｉｐを出力する。続いて、２画素目のデータ、３画素目のデータというように、２００画素目のデータまで順に処理を行ない、ライン３２についての重心ｉｐの算出を終了する。ライン３２についての重心ｉｐの算出を終えると、続いて、ライン３３、ライン３４、ライン３５というように、ライン２３１まで、２００ラインの全部について重心ｉｐの算出を行なう。

なお、ＣＣＤエリアセンサであるモノクロ計測用センサ５３ｃは、積分領域および蓄積領域を有し、積分領域での積分動作が完了すると電荷を蓄積領域へ一括転送し、蓄積領域から外部に順次出力する。

表示用メモリ７４に記憶された重心ｉｐは、ＬＣＤ２１の画面に表示される。重心ｉｐは、計測対象の物体Ｑの表面の位置に関連し、物体Ｑの表面の位置が３次元カメラ２に近い場合に重心ｉｐの値が大きくなり、遠い場合に重心ｉｐの値が小さくなる。したがって、重心ｉｐを濃度データとして濃淡画像を表示させることにより距離分布を表現することができる。

なお、図９〜１８に示される構成は、第１および第２の実施の形態においても採用されている。

また、本実施の形態においてはΣｘｉを用いることによりモノクロの輝度画像をディスプレイ３ｂに表示させることができる。すなわち、Σｘｉは３２フレーム分の出力の合計である。この３２フレームのうちのいずれかのフレームで、スリット光の被写体での反射光が受光されている（ここでは被写体が測定可能範囲内にあることを前提としている）。バンドパスフィルタ８０ｇにより環境光はほぼカットされているので、Σｘｉは、３２フレームの期間に照射されたスリット光の成分の合計である。すべての画素について、同様にスリット光成分の合計が得られる。各画素のΣｘｉを各画素の表示輝度データとして扱うと、モノクロ画像（スリット光波長に対するモノクロ画像）となる。

なお、たとえばΣｘｉのデータレンジが１３ビット用意されており、モノクロの輝度表示には８ビットのデータを用いるとするならば、Σｘｉの上位３ビットと下位２ビットとを取り除いた８ビットを用いるようにすればよい。どの８ビットのデータを用いるかは、Σｘｉの実際にとる値を考慮して決めるようにすればよい。

なお、本実施の形態においては撮像素子としてＣＣＤを用いた場合について説明したが、撮像素子としてＣＭＯＳ撮像センサなどを用いても、距離画像およびカラー画像を取込むことができる。

本発明の第１の実施の形態における計測システムの構成を示す図である。 ３次元カメラ２の外観を示す図である。 ３次元カメラ２の機能構成を示すブロック図である。 フィルタ８０Ａとフィルタ切換機構８１Ａとの周辺の構成を示す図である。 本発明の第２の実施の形態における３次元カメラのブロック図である。 フィルタ８０Ｂとフィルタ切換機構８１Ｂとの周辺の構成を示す図である。 本発明の第３の実施の形態における３次元カメラの構成を示すブロック図である。 フィルタ８０Ｃの周辺の構成を示す図である。 投光レンズ系の構成を示す模式図である。 計測システムにおける３次元位置の算出の原理図である。 センサの読出範囲を示す図である。 センサの撮像面におけるラインとフレームとの関係を示す図である。 メモリにおける各フレームの受光データの記憶状態を示す図である。 メモリにおける各フレームの受光データの記憶状態を示す図である。 メモリにおける各フレームの受光データの記憶状態を示す図である。 重心演算回路の構成を示すブロック図である。 データの転送のタイミングの概念を示す図である。 時間重心の概念を示す図である。 従来のアクティブタイプの３次元計測装置の構成を説明するための図である。

符号の説明

５３ａ〜５３ｃ 計測用センサ（ＣＣＤ）、８０Ａ〜８０Ｃ フィルタ、８１Ａ〜８１Ｃ フィルタ切換機構。

Claims (4)

1. 測定対象物に向けて参照光を投光する投光手段と、
   前記測定対象物からの反射光を受光する受光手段と、
   前記受光された反射光から、前記測定対象物の３次元形状を算出する算出手段とを備えた３次元計測装置であって、
   前記測定対象物の３次元形状を算出するための画像を単一のモノクロセンサで取込み、取込まれた３次元形状を算出するための前記画像から前記測定対象物を表示するための画像を作成することにより、前記算出手段による３次元形状の算出を可能とするとともに、前記表示画像の取得を可能とすることを特徴とした、３次元計測装置。
2. 前記測定対象物の３次元形状を算出するための画像は、前記投光手段により投光される参照光の波長に応じたバンドパスフィルタを介して取得される、請求項１に記載の３次元計測装置。
3. 前記投光手段は、前記測定対象物にスリット光を走査し、
   前記受光手段は、前記スリット光の走査中に前記測定対象物からの反射光をサンプリングすることで３次元形状を算出するための画像データを取得するとともに、
   前記サンプリングした受光データに対する重心演算によって算出された重心値を距離画像として表示することを特徴とする、請求項１または２に記載の３次元計測装置。
4. 前記投光手段は、前記測定対象物にスリット光を走査し、
   前記受光手段は、前記スリット光の走査中に前記測定対象物からの反射光をサンプリングすることで３次元形状を算出するための画像データを取得するとともに、
   前記サンプリングした受光データの各画素値についての総和を輝度画像として表示することを特徴とする、請求項１または２に記載の３次元計測装置。

Images