WO2007116744A1

WO2007116744A1 - ３次元形状検出装置及び３次元形状検出方法

Info

Publication number: WO2007116744A1
Application number: PCT/JP2007/056416
Authority: WO
Inventors: Hiroyuki Sasaki
Original assignee: Brother Kogyo Kabushiki Kaisha
Priority date: 2006-03-31
Filing date: 2007-03-27
Publication date: 2007-10-18
Also published as: JP2007271530A; US20090022367A1

Abstract

　ダイナミックレンジが狭い撮像部を用いた場合であっても、被写体の３次元形状を検出することができる３次元形状検出装置を提供すること。　明と暗とを交互に並べてなる複数種類のパターン光の各々を時系列に被写体に投影されている状態の被写体を複数の異なる露出条件で撮像し、それぞれ各露出条件毎に複数の輝度画像を生成する。さらに、複数の輝度画像に基づいて、各露出条件毎のコード画像を生成し、空間コードのコード境界位置を各露出条件ごとに求める。このように求められた各露出条件毎の複数のコード境界位置に基づいて、被写体の３次元形状を算出するための一つのコード境界位置を決定し、被写体の３次元形状を算出する。

Description

明細書

3次元形状検出装置及び 3次元形状検出方法

技術分野

[0001] 本発明は、 3次元形状検出装置及び 3次元形状検出方法に関する。詳細には、パターン光を被写体に投影して撮像した画像からパターン光の軌跡を抽出して撮像領域内にある被写体の 3次元形状を検出する 3次元形状検出装置及び 3次元形状検出方法に関する。

背景技術

[0002] 従来より、対象物体である被写体に投影部からスリット光やスポット光などのパターン光を投光して、そのパターン光が投光された被写体を CCDカメラなどの撮像手段によって撮像し、その撮像された画像力も検出されるパターン光の軌跡に基づいて、被写体の 3次元形状を検出する 3次元形状検出装置が知られている。

[0003] このような 3次元形状検出装置においては、その 3次元形状検出方法として、能動型測定方法と受動型測定方法がある。能動型測定方法としては、複数のパターン光の投影による空間コードィ匕方法が代表的である。

[0004] パターン光を投影する能動型測定方法の場合、被写体の表面反射特性への依存度が高ぐ測定可能な被写体が限定される。すなわち、低反射面、微細構造面、鏡面反射面、投影光色と補色関係にある色を有する面など、対象物の表面に投影したパターン光の反射成分が観測に充分な強度を望めない面やその反射成分の強度が強すぎたりする面が被写体表面上の領域に存在する場合、 3次元形状の検出が困難となることがある。

[0005] そこで、従来の 3次元形状検出装置においては、被写体の表面反射特性に基づいて、パターン光を投光するための光源の光量を調整したり、撮像手段によって撮像する時の露出を調整したりすることによって、その対策を行っていた (たとえば、特許文献 1参照)。

特許文献 1：特開平 8— 35828号公報

発明の開示発明が解決しょうとする課題

[0006] し力しながら、被写体によっては、その被写体表面に低反射領域や高反射領域など様々な反射特性を持つ領域が分布しているものがあり、上記対策を施した場合であっても、被写体の 3次元形状の検出を充分に行うことができないことがあった。

[0007] すなわち、被写体表面の反射分布が低反射力高反射まで広範囲に及んでいるときには、パターン光を投光するための光源の光量を調整したとしても、或いは撮像手段によって撮像する時の露出を調整したとしても、上記広範囲の反射分布をカバーできないことがあった。

[0008] たとえば、被写体表面の低反射領域を 3次元形状検出するために、撮像手段の絞りを開く或いは露出時間を長くすると、逆に被写体表面の高反射領域において 3次元形状の検出が困難となる。また、その逆、すなわち、被写体表面の高反射領域を 3 次元形状検出するために、撮像手段の絞りを絞る或いは露出時間を短くすると、逆に被写体表面の低反射領域において 3次元形状の検出が困難となる。すなわち、ある領域では 3次元形状検出が可能となるが、別の領域では 3次元形状検出が困難となるのである。

[0009] そこで、ダイナミックレンジの広い撮像手段をこの 3次元形状検出に用いることが考えられる。すなわち、被写体の広範囲の反射分布をカバーできるダイナミックレンジの撮像手段を採用するのである。

[0010] しかし、このようにダイナミックレンジの広い撮像手段は高価であるため、 3次元形状検出装置の製造コストを押し上げてしまうことになる。

[0011] そこで、本発明は、ダイナミックレンジが狭い撮像手段を用いた場合であっても、被写体の 3次元形状を検出することができる 3次元形状検出装置を提供することを目的とする。

課題を解決するための手段

[0012] かかる目的を達成するために、本発明の一つの観点によれば、明と暗とを交互に並ベてなるパターン光を被写体に投影して撮像した画像情報を基に、その撮像領域内にある被写体の 3次元形状を検出する 3次元形状検出装置であって、前記パターン光の各々を被写体に投影する投影部と、前記投影部から前記パターン光が投影されて、る状態の被写体を複数の異なる露出条件で撮像する撮像部と、前記各露出条件毎に、前記撮像部で撮像した撮像画像からパターン光の軌跡を抽出するパターン光軌跡抽出手段と、前記パターン光軌跡抽出手段によって抽出された各露出条件毎のパターン軌跡位置に基づいて、前記被写体の 3次元形状を算出するための一つのパターン軌跡位置を決定するパターン軌跡統合手段と、前記パターン軌跡統合手段によって決定されたパターン軌跡位置に基づいて被写体の 3次元形状を算出する 3次元形状算出手段とを備える。

[0013] このようにすることで、各露出条件で撮像した画像からそれぞれパターン跡位置を抽出し、これらのパターン軌跡位置から適切なパターン軌跡位置を選択することができるため、表面の反射分布が低反射力高反射まで広範囲に及んでいる被写体について、ダイナミックレンジが狭い撮像部を用いた場合であっても、被写体の 3次元形状を検出することができる。すなわち、ダイナミックレンジが狭い撮像部を用いた場合であっても、種々の反射分布を有する被写体の 3次元形状の検出を精度よく行うことがでさる。

[0014] また、本発明の 3次元形状検出装置において、前記パターン光を、明と暗とを交互に並べてなる複数種類のパターン光とし、前記投影部は、複数種類の前記パターン光の各々を時系列に被写体に投影し、前記撮像部は、前記投影部から前記各バターン光が投影されて、る状態の被写体を複数の異なる露出条件で撮像し、前記バターン光軌跡抽出手段は、前記各露出条件毎に、前記撮像部によって撮像される各撮像画像から各画素の輝度を算出した複数の輝度画像を生成する輝度画像生成手段と、前記複数の輝度画像に対して所定の閾値による閾値処理を行って各画素毎に前記空間コードを割り当てた、前記各露出条件毎のコード画像を生成するコード画像生成手段と、前記空間コードのコード境界位置を前記コード画像から抽出する処理を前記各露出条件の前記コード画像それぞれに対して行うコード境界抽出手段とを有し、前記パターン軌跡統合手段は、前記コード境界抽出手段によって抽出された各露出条件毎のコード境界位置に基づいて、前記被写体の 3次元形状を算出するための一つのコード境界位置を決定するコード境界統合手段を有し、前記 3次元形状算出手段は、前記コード境界統合手段によって決定されたコード境界位置に基づヽて被写体の 3次元形状を算出する構成にしてもょ、。

[0015] このようにすることで、各露出条件で撮像した画像からそれぞれコード境界を抽出し、これらのコード境界位置力適切なコード境界位置を選択することができるため、表面の反射分布が低反射から高反射まで広範囲に及んでいる被写体について、ダイナミックレンジが狭い撮像部を用いた場合であっても、被写体の 3次元形状を検出することができる。すなわち、どのようなダイナミックレンジの撮像部を用いた場合であつても、種々の反射分布を有する被写体の 3次元形状の検出を精度よく行うことができるのである。

[0016] また、本発明の 3次元形状検出装置において、異なる複数の露出条件の情報を格納する露出条件情報格納部と、前記撮像部における撮像領域の輝度を検出し、当該輝度に基づいて、前記設定情報格納部から一の露出条件を決定する露出決定手段と、を備え、前記複数露出撮像処理手段は、前記露出決定手段によって決定した露出条件と、当該決定した露出条件と露出度合いが近い前後の露出条件とからなる複数の露出条件を、前記複数の異なる露出条件とする構成にしてもよい。

[0017] このようにすることで、被写体を撮像するための露出条件が多数ある場合においても、全ての露出条件で輝度画像の生成、コード画像の生成及びコード境界の抽出を行うことがないため、それらの演算処理の負荷が軽減され、し力も、 3次元形状の検出時間も必要以上に力かることがない。

[0018] また、本発明の 3次元形状検出装置において、前記コード境界統合手段は、前記各露出条件における前記コード境界位置の各座標毎に、当該各座標に対応する画素の輝度の検出を行い、当該輝度が前記露出条件における有効輝度範囲内となるか否かを判定し、当該有効輝度範囲内であると判定した画素に対応する前記コード境界位置の座標を用いて、前記被写体の 3次元形状を算出するための一つのコード境界位置を決定する構成にしてもょヽ。

[0019] このようにすることにより、各露出条件で撮像した画像からそれぞれコード境界位置を抽出し、当該コード境界毎に有効輝度範囲内にあるコード境界位置を選択することができるため、種々の反射分布を有する被写体の 3次元形状の検出をより精度よく行うことができる。すなわち、被写体の表面反射特性に適した露出条件で撮影した画像を用いるようにしているため、精度よくコード境界位置を検出することができるのである。

[0020] また、本発明の 3次元形状検出装置の前記コード境界統合手段では、前記各座標に対応する画素の輝度を、当該画素とその周囲の画素との平均輝度としてもよい。

[0021] このようにすることで、被写体の 3次元形状の検出をより精度よく行うことができる。

すなわち、撮像部の状態やその撮像状態によっては、一部の座標の画素の輝度が本来の輝度とは異なったものとなることがある力座標に対応する画素の輝度だけでなくその画素の周囲の画素の輝度をも参酌しているため、各露光条件のコード境界位置のうち適正なコード境界位置を選択することができ、したがって 3次元形状の検出精度を向上させることができるのである。たとえば、その座標の画素の輝度が有効輝度範囲にある場合でも、周囲の輝度に比べて異常に高ぐ周囲の画素の輝度で平均化すると有効輝度範囲外となる場合には、その画素の輝度が本来の取得されるべき輝度とは異なるものであるとして、その画素に対応する露出条件のコード境界位置を使用しないようにし、これによりより精度よく 3次元形状の検出を行うのである。

[0022] また、本発明の 3次元形状検出装置において、前記各露出条件毎に、前記撮像部によって撮像される各撮像画像力ゝら各画素の最大輝度値を検出して最大輝度画像を生成する最大輝度画像生成手段を備え、前記各座標に対応する画素の輝度の検出を前記最大輝度画像を用いて行う構成にしてもよい。

[0023] このようにすることで、最大輝度画像を別個に撮像することがなく、撮像枚数の増加を抑えることができる。し力も、光源力被写体の全面に投光することができるようなマスクを投影部に設ける必要がないから、表面の反射分布が低反射から高反射まで広範囲に及んでいる被写体の 3次元形状を検出する場合であっても、投影部を変更する必要がない。

[0024] また、本発明の 3次元形状検出装置において、前記露出条件を露光時間とすることができる。

[0025] このようにすることで、撮像部において機械的な絞り機構を備える必要が無ぐ安価な撮像部を採用することが可能となる。

[0026] また、本発明の他の観点によれば、明と暗とを交互に並べてなるパターン光を被写体に投影して撮像した画像情報を基に、その撮像領域内にある被写体の 3次元形状を検出する 3次元形状検出方法であって、前記パターン光を被写体に投影部により投影するステップと、前記投影部から前記各パターン光が投影されて!ヽる状態の被写体を、撮像部により複数の異なる露出条件で撮像するステップと、前記各露出条件毎に、前記撮像部で撮像した撮像画像からパターン光の軌跡を抽出するステップと、前記抽出された各露出条件毎のパターン軌跡位置に基づいて、前記被写体の 3 次元形状を算出するための一つのパターン軌跡位置を決定するステップと、前記決定されたパターン軌跡位置に基づいて被写体の 3次元形状を算出するステップとを有する。

[0027] このようにすることで、各露出条件で撮像した画像からそれぞれコード境界を抽出し、これらのコード境界位置力適切なコード境界位置を選択することができるため、表面の反射分布が低反射から高反射まで広範囲に及んでいる被写体について、ダイナミックレンジが狭い撮像部を用いた場合であっても、被写体の 3次元形状を検出することができる。すなわち、どのようなダイナミックレンジの撮像部を用いた場合であつても、種々の反射分布を有する被写体の 3次元形状の検出を精度よく行うことができるのである。

発明の効果

[0028] 本発明によれば、各露出条件で撮像した画像からそれぞれパターン跡位置を抽出し、これらのパターン軌跡位置力適切なパターン軌跡位置を選択することができるため、表面の反射分布が低反射力も高反射まで広範囲に及んでいる被写体について、ダイナミックレンジが狭い撮像部を用いた場合であっても、被写体の 3次元形状を検出することができる。

図面の簡単な説明

[0029] [図 1]本発明の第 1実施形態に従う 3次元形状検出装置の外観を示す斜視図である

[図 2]図 1に示す 3次元形状検出装置を示す側面図および背面図である。

[図 3]図 1における測定ヘッドホルダとの取付構造を説明するための部分断面背面図である。 [図 4]図 1における回転テーブル部を示す背面断面図である。

[図 5]図 1における測定ヘッドの内部構成を示す平面断面図である。

[図 6]図 1における投影部を拡大して示す平面図である。

圆 7]図 1に示す 3次元形状検出装置の電気的構成を概念的に表すブロック図である圆 8]図 5における投影機構を示す正面図である。

圆 9]図 8に示す投影機構を示す部分側面断面図である。

[図 10]図 8におけるマスクを部分的に拡大して示す正面図である。

[図 11]図 8におけるマスクを部分的に示す正面図および図 7における位置センサおよび第 1ないし第 3の IDセンサをマスクと共に示す側面図である。

[図 12]図 11における位置センサの PD信号および第 1ないし第 3の IDセンサの信号を説明するためのタイミングチャートである。

[図 13]図 7におけるカメラ制御プログラムにおヽて実行されるメイン処理を概念的に表すフローチャートである。

[図 14]図 13における立体画像処理を概念的に表すフローチャートである。

[図 15]図 14における 3次元色形状検出処理を 3次元色形状検出処理ルーチンとして概念的に表すフローチャートである。

[図 16]図 15における撮像処理プログラムとして概念的に表すフローチャートである。

[図 17]図 16におけるマスクモータ制御プログラムとして概念的に表すフローチャートである。

[図 18]図 16における投影処理を投影処理サブルーチンとして概念的に表すフローチャートである。

[図 19]図 8における撮像部の露出条件を説明するための図である。

[図 20]図 7に示す露出別パラメータテーブル格納部における露出別パラメータテーブノレの概念図である。

[図 21]図 16におけるパターン光有画像撮像処理をパターン光有画像撮像処理サブルーチンとして概念的に表すフローチャートである。

[図 22]図 15における 3次元計測処理サブルーチンとして概念的に表すフローチヤ一トである。

[図 23]図 22におけるコード画像生成プログラムを概念的に表すフローチャートである

[図 24]図 22におけるコード境界の統合プログラムを概念的に表すフローチャートである。

[図 25]図 24におけるコード境界の選択プログラムを概念的に表すフローチャートである。

[図 26]図 7に示すコード境界座標格納部における統合コード境界座標格納領域の概念図である。

[図 27]図 15における 3次元色形状検出結果生成ルーチンとして概念的に表すフローチャートである。

符号の説明

[0030] MH 測定ヘッド

RT 回転テーブル

HD ホルダ

S 被写体

10 3次元形状検出装置

12 投影部

14 撮像部

16 処理部

184 回転テーブル

発明を実施するための最良の形態

[0031] 以下、本発明のさらに具体的な実施の形態のうちのいくつかを図面に基づいて詳細に説明する。なお、本実施形態においては、空間コード化法を用いた 3次元形状検出を例に挙げて説明するが、単純な平行線 (スリット状)パターン光を用いた光切断法や、何らかの規則性を持たせたスポット光群、明暗をメッシュ状に配したパターン光等を用いた 3次元形状に適用することも当然に可能である。

[0032] 図 1には、本発明の第 1実施形態に従う 3次元形状検出装置 10の外観が斜視図で示されている。この 3次元形状検出装置 10は、明と暗とを交互に並べてなる複数種類のパターン光の各々を時系列に被写体 Sに投影する後述の投影部 12と、投影部 1 2から各パターン光が投影されている状態の被写体を複数の異なる露出条件で撮像する後述の撮像部 14とを有しており、撮像部 14による撮像結果に基づき、被写体 S の 3次元情報および表面色情報をコンピュータによって取得する信号処理を行うように設計されている。

[0033] 図 1ないし図 4には、 3次元形状検出装置 10の外部構成が示される一方、図 5ないし図 11には、 3次元形状検出装置 10の内部構成が示されている。以下、まず、外部構成を説明し、次に、内部構成を説明する。

[0034] 図 1に示すように、 3次元形状検出装置 10は、測定ヘッド MHと、台座部 HDとを含むように構成されている。

[0035] 測定ヘッド MHは、被写体 Sを光学的に撮像し、その撮像結果に基づ!/、て被写体 S の 3次元形状および表面色を測定するために設けられている。台座部 HDは、測定ヘッド MH及び被写体 Sを載置可能に構成されており、一端の領域に測定ヘッド MH を装着する測定ヘッド装着部を設けると共に、他端に被写体 Sを載置する載置台としての回転テーブル部 RTを設けている。回転テーブル部 RTは、測定ヘッド MHに対して被写体 Sを割り出し回転させるごとに測定ヘッド MHによる被写体 Sの撮像を可能にし、それにより、被写体 Sの外面の全体領域を複数の部分領域に分割して撮像することを可能にするために設けられて、る。

[0036] 被写体 Sについては、各部分領域ごとの撮像によって複数の部分画像が取得される。それら取得された複数の部分画像を処理することにより 3次元形状が得られる。各部分画像力得られた 3次元形状は 1つの 3次元ステッチ形状に結合される。同じ被写体 Sについて取得された表面色情報がその 3次元ステッチ形状にマッピングされ、それにより、その被写体 Sについてのステッチテクスチャ画像が生成される。

[0037] 図 1に示すように、測定ヘッド MHは、被写体 Sにパターン光を投影するための投影部 12と、被写体 Sを撮像するための撮像部 14と、被写体 Sの 3次元情報および表面色情報の取得とを行うために信号処理を行う処理部 16とを備えている。それら投影部 12、撮像部 14および処理部 16は、測定ヘッド MHの、略直方体状を成すケーシング 20に装着されている。

[0038] 図 1に示すように、そのケーシング 20には、鏡筒 24とフラッシュ 26と力それぞれが部分的にケーシング 20の正面において露出する姿勢で装着されている。このケーシング 20には、さらに、撮像部 14の一部である撮像光学系 30が、それのレンズの一部がケーシング 20の正面において露出する姿勢で装着されている。その撮像光学系 3 0は、それの露出部分において、被写体 Sを表す画像光を受光する。

[0039] 鏡筒 24は、図 1に示すように、ケーシング 20の正面力も突出しており、その内部において、図 5に示すように、投影部 12の一部である投影光学系 32を収容している。投影光学系 32は、複数枚の投影レンズ 34と絞り 36とを含むように構成されている。

[0040] 鏡筒 24は、投影光学系 32を、焦点調節のために全体的に移動可能である状態で保持し、さらに、この鏡筒 24は、投影光学系 32を損傷カゝら保護している。鏡筒 24の露出端面から、複数枚の投影レンズ 34のうち最も外側に位置するものが露出している。投影光学系 32は、その最も外側の投影レンズ 34において、被写体 Sに向カゝつてノターン光を投影する。

[0041] フラッシュ 26は、不足光量を補充するために発光する光源であり、例えば、キセノンガスが充填された放電管を用いて構成されている。したがって、このフラッシュ 26は、ケーシング 20に内蔵されているコンデンサ（図示しない）の放電により繰り返し使用することがでさる。

[0042] 図 1に示すように、ケーシング 20には、それの上面において、レリーズボタン 40が装着されている。また、図 2 (b)に示すように、ケーシング 20には、さらに、それの背面において、モード切替スィッチ 42 (図 2 (b)に示す例においては、 2個のボタン力も成る。）と、 4方向カーソルキー（十字キー） 43と、モニタ LCD44とが装着されている。それらモード切替スィッチ 42および 4方向カーソルキー 43はそれぞれ、ファンクションボタンの一例を構成する。

[0043] レリーズボタン 40は、 3次元形状検出装置 10を作動させるためにユーザによって操作される。このレリーズボタン 40は、ユーザの操作状態 (押下状態）が「半押し状態」である場合と「全押し状態」である場合とで異なる指令を発令できる 2段階の押しボタン式のスィッチによって構成されている。レリーズボタン 40の操作状態は処理部 16によって監視される。処理部 16によって「半押し状態」が検出されれば、よく知られたォ一トフォーカス (AF)および自動露出 (AE)の機能が起動し、ピント、絞りおよびシャツタスピードが自動的に調節される。これに対し、処理部 16によって「全押し状態」が検出されれば、撮像等が行われる。

[0044] モード切替スィッチ 42は、 3次元形状検出装置 10の作動モードを、後述の三次元測定モード（図 2 (b)にお!/、て「3D」で示す。）およびオフモード（図 2 (b)にお!/、て「0 FFJで示す。 )を含む複数種類のモードの、ずれかとして設定するためにユーザによつて操作される。このモード切替スィッチ 42の操作状態は処理部 16によって監視されており、モード切替スィッチ 42の操作状態が処理部 16によって検出されると、その検出された操作状態に対応するモードでの処理が 3次元形状検出装置 10において行われる。

[0045] モニタ LCD44は、液晶ディスプレイ（Liquid Crystal Display)を用いて構成されており、処理部 16から画像信号を受けて、画像をユーザに表示する。このモニタ LCD4 4は、例えば、被写体 Sの 3次元形状の検出結果を表す画像 (立体画像)等を表示する。

[0046] 図 2に示すように、ケーシング 20には、さらに、 RF (無線)インタフェイスとしてのアンテナ 50が装着されている。アンテナ 50は、図 5に示すように、 RFドライバ 52に接続されている。このアンテナ 50は、被写体 Sを立体画像として表すデータ等を、 RFドライノ 52を介して、図示しな、外部インタフェイスに無線によって送信する。

[0047] ここで、図 1および図 3を参照することにより、測定ヘッド MHを台座部 HDに着脱可能に装着する構造を説明する。

[0048] 測定ヘッド MHは、台座部 HDの一端の上面に機械的に係合することにより、その台座部 HDに装着される。その係合を実現するために、測定ヘッド MHは、図 3に示すように、台座部 HDとの係合部である下端部にヘッド沈座部 150が形成されて、る。このヘッド沈座部 150は、第 1および第 2の係合爪 152, 154を一対の雄側係合部として有している。

[0049] 図 3に示すように、それら第 1および第 2の係合爪 152, 154は、測定ヘッド MHの横方向、すなわち、台座部 HDの幅方向に互いに隔たる一対の位置において、それぞれ測定ヘッド MHの前後方向、すなわち、台座部 HDの長さ方向に延びるように形成されている。本実施形態においては、測定ヘッド MHが台座部 HDにできる限り強固に固定されるようにするために、それら第 1および第 2の係合爪 152, 154間の距離ができる限り長くなるようにそれら第 1および第 2の係合爪 152, 154の各位置が選定されている。

[0050] 図 3に示すように、台座部 HDには、ヘッド沈座部 150との機械的係合によってそのヘッド沈座部 150を固定的に受容するヘッド受容部 160が形成されて、る。このへッド受容部 160は、ヘッド沈座部 150が嵌り入るヘッドベース沈座空隙 162を備え、さらに、測定ヘッド MHの第 1および第 2の係合爪 152, 154にそれぞれ係合する第 1および第 2の爪突き当て部 164, 166を一対の雌側係合部として備えている。

[0051] 第 1の爪突き当て部 164は、対応する第 1の係合爪 152に係合して、測定ヘッド M Hが台座部 HDから、それの上面に直角な方向に離脱することを阻止する固定爪突き当て部である。一方、第 2の爪突き当て部 166は、（a)対応する第 2の係合爪 154 に係合して、測定ヘッド MHが台座部 HDから、それの上面に直角な方向に離脱することを阻止する係合位置と、（b)対応する第 2の係合爪 154から離脱して、測定へッド MHが台座部 HDから、それの上面に直角な方向に離脱することを許可する解放位置とに変位可能な可動爪突き当て部である。

[0052] 第 2の爪突き当て部 166の一例は、台座部 HDの長さ方向（台座部 HDに対する測定ヘッド MHの装着 ·離脱時にその測定ヘッド MHが回転する回転平面に直角な方向）に延びるピボット軸線まわりにピボット可能なピボット部材 170を含んで、る。

[0053] そのピボット部材 170は、そのピボット軸線と同軸な軸線を有するジョイント 172によつて台座部 HDにピボット可能に装着される。このピボット部材 170は、対応する第 2 の係合爪 154に機械的に係合してその第 2の係合爪 154が離脱することを阻止する可動係合部 174を含んで、る。その可動係合部 174が第 2の係合爪 154を上方から係合する向きにピボット部材 170が常時、弾性部材としてのスプリング 176によって付勢される。本実施形態においては、そのピボット部材 170が、さらに、可動係合部 17 4による係合を解除するためにユーザによって押圧操作される操作部 178と、スプリング 176の弾性力を拡大して可動係合部 174に伝達するレバレツジ 180とを含んでいる。

[0054] 次に、図 3を参照することにより、台座部 HDに対する測定ヘッド MHの着脱作業を説明する。

[0055] 測定ヘッド MHを台座部 HDに装着するためには、ユーザは、ピボット部材 170の操作部 178を、スプリング 176の弾性力に杭して、可動係合部 174が係合位置から解放位置に向力う解放方向に押圧する。その押圧状態で、ユーザは、ヘッド沈座部 150がヘッドベース沈座空隙 162内に進入しつつ第 1の係合爪 152が第 1の爪突き当て部 164内に進入して当接するように、測定ヘッド MHを概して垂直面内において回転させつつ下降させる。その後、ユーザは、操作部 178の押圧を解除し、それにより、ピボット部材 170がスプリング 176の弾性回復力によって解放位置力も係合位置に回動して、可動係合部 174が第 2の係合爪 154に上方から係合して突き当たる。その結果、第 1の係合爪 152が第 1の爪突き当て部 164から上方に離脱することが阻止されるとともに、第 2の係合爪 154が第 2の爪突き当て部 166から上方に離脱することも阻止される。それにより、測定ヘッド MHが台座部 HD力も離脱することが阻止される。

[0056] これに対し、測定ヘッド MHを台座部 HD力離脱するためには、ユーザは、上記の場合と同様にして、ピボット部材 170の操作部 178をスプリング 176の弾性力に抗して、解放方向に押圧する。その押圧状態で、ユーザは、ヘッド沈座部 150がヘッドベース沈座空隙 162から退避しつつ第 1の係合爪 152が第 1の爪突き当て部 164から退避するように、測定ヘッド MHを概して垂直面内において回転させつつ上昇させて、測定ヘッド MHを台座部 HD力も離脱させる。その後、ユーザは、操作部 178の押圧を解除し、それにより、ピボット部材 170がスプリング 176の弾性回復力によって解放位置から係合位置に復元する。

[0057] 次に、図 4を参照することにより、回転テーブル部 RTを詳細に説明する。

[0058] この回転テーブル部 RTは、被写体 Sが載置されるべき回転テーブル 184と、その回転テーブル 184を回転可能に支持する支持フレーム 186とを含んでいる。その支持フレーム 186は、上板部 188と下板部 189とを含むように薄い中空箱状を成しており、上板部 188の開口から回転テーブル 184の上面が露出している。本実施形態においては、その支持フレーム 186のうちの下板部 189がテーブルベースとしても機能する。

[0059] 回転テーブル 184の上面は、撮像されるべき被写体 Sが載置される載置面 190である。一方、回転テーブル 184の下面から、回転シャフト 191が同軸に延び出しており、この回転シャフト 191は、軸受け 192を介して支持フレーム 186に回転可能に支持されている。その軸受け 192は、支持フレーム 186に形成された軸受けホルダ 193 によって保持されている。

[0060] 回転テーブル 184を回転させるテーブルモータ 194が支持フレーム 186に装着されている。このテーブルモータ 194を収容するモータボックス 195が支持フレーム 18 6に形成されている。

[0061] このモータボックス 195は、支持フレーム 186の上板部 188の上面に、その上面から上方に突出する姿勢で形成されている。このモータボックス 195の上面は、回転テ一ブル 184の上面より高く設定されている。それにより、被写体 Sが回転テーブル 18 4と共に回転させられる際にその被写体 Sが、回転テーブル 184を同軸に投影した投影空間から外側にはみ出していると、モータボックス 195のうち回転テーブル 184の上面より上方に位置する部分が被写体 Sに当接してその被写体 Sの向きを変化させる。

[0062] したがって、モータボックス 195は、テーブルモータ 194の収容部として機能するのみならず、被写体 Sが回転テーブル 184に位置決めされる位置を規制する位置規制部 196としても機能する。

[0063] テーブルモータ 194の回転を回転テーブル 184に伝達するために、テーブルモータ 194の回転シャフトにモータギヤ 197が同軸に固定され、このモータギヤ 197にかみ合うテーブルギヤ 198が回転テーブル 184に同軸に固定されている。モータギヤ 1 97は、テーブルギヤ 198より小径であるため、テーブルギヤ 198の回転速度が減速されて回転テーブル 184に伝達される。

[0064] ところで、テーブルモータ 194は、支持フレーム 186の上板部 188の上面から突出しないように支持フレーム 186に装着することが可能である。一方、上板部 188の上面のうち回転テーブル 184が露出する部分を除く部分の上方空間にテーブルモータ 194を配置しても、何ら支障がなぐむしろ、支持フレーム 186の薄型化に有利である

[0065] したがって、本実施形態によれば、テーブルモータ 194を上板部 188の上面力も突出するように配置することにより、上述の位置規制部 196としての機能に加えて、支持フレーム 186の薄型化を容易にすると、う機能も実現される。

[0066] この 3次元形状検出装置 10は、複数種類のモードのうちユーザによって選択されたものに従って作動する。それらモードは、三次元計測モード (以下「3Dモード」とする。）と、オフモードとを含んでいる。 3Dモードは、被写体 Sを撮像し、被写体 Sの立体形状を検出するモードである。オフモードは、この 3次元形状検出装置 10の動作を停止させるモードである。

[0067] 撮像部 14は、被写体 Sを撮像し、その画像を取り出すことが可能であるように構成されている。

[0068] 投影部 12は、被写体 Sにパターン光を投影するためのユニットである。この投影部 12は、図 5および図 6に示すように、基板 60と、 LED62 (例えば、単一の LED素子によって広い出射面力も光を出力する LED)と、照明絞り 63と、光源レンズ 64と、マスク 200を送るためのマスクモータ（例えば、パルスモータ） 65を駆動源とする投影機構 66と、投影光学系 32とを、投影方向に沿って直列に備えている。

[0069] 図 6には、この投影部 12のハードウェア構成のうち、基板 60と、 LED62と、照明絞り 63と、光源レンズ 64と、マスク 200と、投影光学系 32とが詳細に示されている。図 7 には、この投影部 12を含む 3次元形状検出装置 10全体のソフトウェア構成および電気的接続関係が詳細に示されている。図 8ないし図 11には、投影部 12のハードゥエァ構成のうち、投影機構 66が詳細に示されている。

[0070] 撮像部 14は、被写体 Sを撮像するための撮像モジュールである。この撮像部 14は、図 5に示すように、撮像光学系 30と、 CCD (Charge Coupled Device) 70とを、画像光の入射方向に沿って直列に備えている。この CCD70は、インターライントランスファー方式でプログレッシブ走査を行うように構成されている。また、撮像部 14には、 C CD70を制御するための CCDドライバ 88を備えている。

[0071] 撮像光学系 30は、図 5に示すように、複数枚のレンズを用いて構成されている。この撮像光学系 30は、よく知られたオートフォーカス機能により、焦点距離および絞りを自動調整して外部からの光を CCD70上に結像する。

[0072] CCD70は、フォトダイオード素子などの光電変換素子をマトリクス状に配列して構成されている。この CCD70は、撮像光学系 30を介してこの CCD70の表面に結像される画像の光の色および強さに応じた信号を各画素ごとに生成する。その生成された信号は、デジタルデータに変換されて処理部 16に出力される。

[0073] 図 7にブロック図で表すように、処理部 16は、フラッシュ 26、レリーズボタン 40およびモード切替スィッチ 42にそれぞれ電気的に接続されている。処理部 16は、さらに、モニタ LCD44にはモニタ LCDドライバ 72を介して、アンテナ 50には RFドライバ 52 を介して、ノッテリ 74には電源インタフェイス 76を介してそれぞれ電気的に接続されている。それらフラッシュ 26等は、処理部 16によって制御される。

[0074] 処理部 16は、さらに、外部メモリ 78、キャッシュメモリ 80及び撮像モジュールである撮像部 14にそれぞれ電気的に接続されている。処理部 16は、さら〖こ、 LED62には光源ドライバ 84を介して、投影機構 66のマスクモータ 65にはマスクモータドライバ 86 を介して、それぞれ電気的に接続されている。それら LED62等は、処理部 16によつて制御される。

[0075] 外部メモリ 78は、着脱可能なフラッシュ ROMであり、立体画像モードにおいて撮像された撮像画像や 3次元情報 (前述のステッチテクスチャ画像、 3次元ステッチ形状を含む。）を記憶することが可能である。外部メモリ 78を構成するために、例えば、 SD カード、コンパクトフラッシュ (登録商標)カード等を使用することができる。

[0076] キャッシュメモリ 80は、データの読み書きを高速で行い得る記憶装置である。キヤッシュメモリ 80は、例えば、デジカメモードにおいて撮像された撮像画像を高速でキヤッシュメモリ 80に転送し、処理部 16で画像処理を行って力も外部メモリ 78に格納することを可能にするために使用される。キャッシュメモリ 80を構成するために、例えば、 SDRAM, DDRRAM等を使用することができる。

[0077] 電源インタフェイス 76、光源ドライノく 84、マスクモータドライバ 86および CCDドライノ 88はそれぞれ、バッテリ 74、 LED62、投景機構 66のマスクモータ 65および CCD 70を制御する各種の ICOntegrated Circuit)によって構成されている。 [0078] 図 2 (a)に示すように、測定ヘッド MHには、 ACアダプタ端子 90と、 USB端子 91と、テーブルモータ端子 92とが設けられている。 ACアダプタ端子 90は、図 5にも示すように、ノッテリ 74に電気的に接続されており、それにより、 3次元形状検出装置 10 が外部の交流電源を電力源として利用することが可能となっている。 USB端子 91は、図 5に示すように、 USBドライバ 93を介して処理部 16に接続されている。テーブルモータ端子 92は、図 5に示すように、テーブルモータドライバ 94を介して処理部 16に接続されている。

[0079] 図 1に示すように、回転テーブル部 RTのテーブルモータ 194から電気ラインとしてのハーネス 95が延び出している。このハーネス 95は、図 2 (a)〖こ示すように、そのハ一ネス 95の先端に接続された L字プラグ 96においてテーブルモータ端子 92に接続されている。そのハーネス 95は、測定ヘッド MHからテーブルモータ 194に制御信号および電力を供給する電気ラインとして機能する。したがって、図 7に示すように、テ一ブルモータ 194がテーブルモータドライバ 94を介して処理部 16に接続されることになる。

[0080] 図 1に示すように、ハーネス 95は、台座部 HDの表面上でハーネス止め 97, 98, 9 8によって規定される。

[0081] 前述のように、投影部 12は、図 6に示すように、基板 60と、 LED62と、照明絞り 63 と、光源レンズ 64と、投影機構 66と、投影光学系 32とをパターン光の投影方向に沿つて直列に備えている。

[0082] 基板 60は、それに LED62が装着されることにより、その装着された LED62との間において電気的な配線を行う。基板 60は、例えば、アルミニウム製基板に絶縁性合成榭脂を塗布して力無電解メツキによってパターンを形成したものや、ガラスェポキシ基材をコアとする単層または多層構造の基板を使用して製作することができる。 LE D62は、投影機構 66に向けて放射状のアンバー色の光を広い面積で発光する光源であり、 LEDケーシング 100内に収容されている。

[0083] 図 6に示すように、照明絞り 63は、 LED62から出力された光のうち不要な部分を遮蔽することにより、必要な部分のみを光源レンズ 64に誘導するために設けられている。光源レンズ 64は、 LED62から放射状に発光される光を集光するレンズであり、その材質はアクリルに代表される光学榭脂である。

[0084] 本実施形態においては、図 6に示すように、 LED62から発光される放射状の光力光源レンズ 64によって効率良く集光され、 LED62からの出射光が投影機構 66の入射面 106に略直角に入射するとともに、指向性の高い放射光として投影機構 66の出射面 108から出射する。この意味において、光源レンズ 64は、コリメータレンズとして機能する。図 6には、その出射面 108上において互いに隔たった 2個の注目点 A, B にっき、それぞれの指向性特性が照度分布のグラフ（ Θ：半値拡がり半角）で表されている。

[0085] 投影光学系 32は、投影機構 66を通過した光を被写体 Sに向力つて投影するための複数枚の投影レンズ 34を含んでいる。それら投影レンズ 34は、ガラス製レンズと合成榭脂製レンズとの組合せカゝら成るテレセントリックレンズによって構成されている。テレセントリックとは、投影光学系 32を通過する主光線が、入射側の空間では光軸に平行になり、入射瞳の位置が無限になる構成をいう。

[0086] 投影光学系 32は、上述のようにテレセントリック特性を持ち、その入射 NAが 0. 1程度であるため、垂直 ± 5° 以内の光のみが投影光学系 32の内部の絞り 36を通過できるように、投影光学系 32の光路が規制されている。したがって、本実施形態においては、投影光学系 32のテレセントリック性により、投影機構 66を垂直 ± 5° で通過する光のみを投影光学系 32に投影し得る構成と相俟って、画質の向上を容易に図り得る。

[0087] ここで、図 8ないし図 11を参照することにより、投影部 12のハードウェア構成のうち投影機構 66を詳細に説明する。

[0088] この投影機構 66は、光源としての LED62からの入射光を複数種類のパターン光に選択的に変換することにより、それら複数種類のパターン光を順次被写体 Sに投影するために設けられている。図 8には、この投影機構 66が正面図で示され、図 9には

、この投影機構 66が部分断面側面図で示されている。

[0089] 図 8に示すように、この投影機構 66は、シート状を成して長さ方向に延びるマスク 2

00を備えており、そのマスク 200はマスクモータ 65によってそのマスク 200の長さ方向に送られる。 [0090] 図 10には、そのマスク 200の長さ方向における一部が拡大されて正面図で示されている。このマスク 200には、前記複数種類のパターン光にそれぞれ対応する複数のフレーム 202がマスク 200の長さ方向に並んで割り当てられて!/、る。図 8に示すように、それらフレーム 202は、選択的に前記入射光の照射領域に位置させられる。

[0091] 本実施形態においては、 3Dモードの際、被写体 Sを撮像するために 8種類のパターン光が順次被写体 Sに投影される。図 10には、パターン番号 PNが 5であるパターン光を形成するためのフレーム 202 (図 10において「コード 5」を付して示す。）と、パターン番号 PNが 6であるパターン光を形成するためのフレーム 202 (図 10において「コード 6」を付して示す。）と、パターン番号 PNが 7であるパターン光を形成するためのフレーム 202 (図 10にお!/、て「コード 7」を付して示す。）とが代表的に示されて！/、る

[0092] マスク 200は、各フレーム 202ごとに、マスク 200をそれの厚さ方向に貫通する貫通穴（空気開口） 204を、各フレーム 202に対応するパターン光の形状に対応する形状を有する状態で備えている。図 10に示すように、いずれのフレーム 202においても、個々の貫通穴 204が直線的に延びるスリット状を成している。複数個のフレーム 202 のうち、複数個の貫通穴 204を有するものにおいては、それら複数個の貫通穴 204 力 Sストライプ状を成すように配列されて、る。

[0093] さらに、本実施形態においては、いずれのフレーム 202においても、各貫通穴 204 がマスク 200の長さ方向に平行に延びるように配置されて、る。

[0094] そのマスク 200は、長さ方向と厚さ方向との双方に平行な平面内において屈曲可能である。このマスク 200は、金属製の薄いシートによって構成されている。マスク 20 0を構成する金属は、不透明弾性材料の一例であり、そのような材料の一例はステンレスである。このマスク 200の板厚の一例は、 0. 1mmである。

[0095] 本実施形態においては、厚さ 0. 1mmのステンレス板に対してウエットエッチングが施されることにより、そのステンレス板に複数個の貫通穴 204がミクロン精度で形成され、それにより、マスク 200が製作されている。

[0096] このマスク 200は、弾性屈曲性を有しており、後述のようにローラに巻き取られて収容されていても、そのローラから解放されれば、真っ直ぐな平面を成す原形状に復元する性質を有する。

[0097] 図 8に示すように、投影機構 66は、マスク 200を巻き取り可能に保持しつつ送るために、ハウジング 210を備えている。このハウジング 210に、供給具としての供給ローラ 220と、案内具としてのガイドローラ 222と、送り具としての送りローラ 224と、巻き取り具としての巻き取りローラ 226とが、互いに平行な各軸線を有する姿勢で支持されている。それら供給ローラ 220,ガイドローラ 222,送りローラ 224および巻き取り口一ラ 226の軸線は!、ずれも、マスク 200の幅方向に平行に延びて!/、る。

[0098] 図 9に示すように、マスク 200は、それの長さ方向における両端部においてそれぞれ、供給ローラ 220と巻き取りローラ 226とに結合されている。マスク 200は、さらに、それら供給ローラ 220と巻き取りローラ 226との間において、供給ローラ 220寄りのガイドローラ 222と、卷き取りローラ 226寄りの送りローラ 224とに支持されて!、る。

[0099] 3次元形状検出装置 10の不使用状態においては、マスク 200は、供給ローラ 220 と巻き取りローラ 226とのうち主に供給ローラ 220に巻き付けられており、マスク 200 は、この状態で 3次元形状検出装置 10内において収容される。すなわち、マスク 200 のうちの未使用部分は、供給ローラ 220に巻き付けられて収容されるのであり、供給ローラ 220は、マスク 200のうちの未使用部分を屈曲状態において収容するローラなのである。

[0100] 被写体 Sの撮像が開始されると、マスク 200のうちの未使用部分は、マスクモータ 6 5の正回転により、供給ローラ 220から剥がされて巻き取りローラ 226に向かって供給される。その未使用部分が被写体 Sの撮像に使用されると、使用済部分として、巻き取りローラ 226に巻き取られて収容される。すなわち、巻き取りローラ 226は、マスク 2 00のうちの使用済部分を屈曲状態にぉ、て収容するローラなのである。

[0101] 被写体 Sの撮像が終了した時点においては、マスク 200は、供給ローラ 220と巻き取りローラ 226とのうち主に巻き取りローラ 226に巻き付けられ、マスク 200は、この状態で 3次元形状検出装置 10内において収容される。その後、次回の撮像に備えて、マスクモータ 65の逆回転により、マスク 200は、供給ローラ 220と巻き取りローラ 226 とのうち主に供給ローラ 220に巻き取られ、それにより、マスク 200は、供給ローラ 22 0に巻き付けられた状態で、 3次元形状検出装置 10内にぉ、て収容される。 [0102] 図 9に示すように、それらガイドローラ 222と送りローラ 224との間に、 LED62からの入射光がマスク 200に照射される照射位置 228が設定されて、る。マスク 200のうちそれらガイドローラ 222と送りローラ 224とによって両端を支持される部分が、前記設定された照射位置 228を前記入射光に直角な方向に通過する直線部 230を形成している。

[0103] 図 9に示すように、本実施形態においては、マスク 200のうち供給ローラ 220とガイドローラ 222とによって両端を支持される部分 232 (図 9において直線部より左側の部分)と、送りローラ 224と巻き取りローラ 226とによって両端を支持される部分 234 (図 9において直線部より右の部分）とがそれぞれ、直線部 230に対して同じ側に傾斜させられている。その傾斜角度は、小さいほど、直線部 230に対する部分 232, 234の弾性曲げに起因する直線部 230の反りを軽減するために望ましい。一方、その傾斜角度は、大きいほど、マスク 200の長さ方向においてこの投影機構 66を小型化するために望ましい。

[0104] 図 9に示すように、マスク 200は、それの長さ方向における両端部においてそれぞれ、供給ローラ 220と巻き取りローラ 226とに結合されて、る。

[0105] 供給ローラ 220は、ハウジング 210に固定されたシャフト 240と、そのシャフト 240を同軸に取り囲むローラ部 242とを含むように構成されている。ローラ部 242は、シャフト 240に対して同軸に相対回転可能に支持されている。このローラ部 242にマスク 20 0の一端部が固定され、そのローラ部 242の回転によってそのローラ部 242の外周面にマスク 200が巻き付けられる。ローラ部 242の両回転方向のうち、ローラ部 242にマスク 200が巻き付けられる回転方向が戻り回転方向であり、ローラ部 242からマスク 2 00が剥がされる回転方向が送り回転方向である。

[0106] ローラ部 242には、付勢部材としてのスプリング 246が係合させられており、それにより、ローラ部 242は、戻り回転方向に常時付勢されている。そのスプリング 246は、例えば、図 9に示すように、ローラ部 242とシャフト 240との間の半径方向隙間内において、可動部材としてのローラ部 242と静止部材としてのシャフト 240とに係合させられるように使用される。そのスプリング 246は、例えば、図 9に示すように、シャフト 240 の外周面に巻き付けられるリーフスプリングとして構成される。そのスプリング 246の弾性力により、マスク 200にテンションがそのマスク 200の長さ方向に作用させられる

[0107] 図 8および図 10に示すように、マスク 200の両側縁部にはそれぞれ、マスク 200の長さ方向に並んだ複数個の送り穴 250から成るパーフォレーシヨン領域 252が形成されている。ガイドローラ 222および送りローラ 224は、それら送り穴 250に貫通してそれら送り穴に係合する歯 254, 256を備えている。本実施形態においては、図 9に示すように、ガイドローラ 222も送りローラ 224も、複数個の歯 254, 256を、各外周面上において等間隔に並んで備えている。

[0108] ガイドローラ 222はフリーローラであるのに対し、送りローラ 224は、マスクモータ 65 によって駆動される駆動ローラである。図 8に示すように、本実施形態においては、マスクモータ 65が送りローラ 224に同軸に連結されており、送りローラ 224がマスクモータ 65によって回転駆動される。送りローラ 224の両回転方向のうち、マスク 200が供給ローラ 220から剥がされる回転方向が送り回転方向であり、マスク 200が供給ローラ 220に巻き付けられる回転方向が戻り回転方向である。

[0109] 図 9に示すように、そのマスクモータ 65は、送りローラ 224を回転させる機能と、それと同期して巻き取りローラ 226を回転させる機能とを有している。そのため、マスクモータ 65は、マスク 200を送りつつ巻き取りローラ 226によって巻き取られる正回転と、マスク 200を巻き取りローラ 226から剥がしつつ供給ローラ 220に供給する逆回転とを選択的に行わせられる。

[0110] 図 8に示すように、本実施形態においては、送りローラ 224およびマスクモータ 65と同軸かつ一体的に回転させられる回転体としての駆動プーリ 260と、巻き取りローラ 2 26と同軸かつ一体的に回転させられる回転体としての被動プーリ 262とに、動力伝達体としてのベルト 264が巻き掛けられてヽる。このように構成された伝動機構 266 により、マスクモータ 65の回転力が巻き取りローラ 226に伝達される。

[0111] 図 8および図 9に示すように、投影機構 66は、照射位置 228においてマスクガイド 2 70を備えている。そのマスクガイド 270は、マスク 200のうちの直線咅 230の送りを案内するために設けられて、る。

[0112] 本実施形態においては、マスクガイド 270力マスク 200の直線部 230をそれの厚さ方向における両側から挟む構造を有しており、具体的には、マスク 200の直線部 2 30を隔てて互いに対向する一対のガイド板 272, 272を備えている。このマスクガイド 270は、マスク 200をそれの長さ方向にスライド可能に保持する一方、マスク 200をそれの幅方向にはできる限り変位しな、ように保持する。

[0113] 各ガイド板 272には、それを厚さ方向に貫通する窓 276が形成されている。この窓 2 76も、貫通穴 204と同様に、空気開口として形成されている。 LED62からの入射光のうち窓 276を通過する部分のみ力マスク 200に照射される。

[0114] 図 10に示すように、マスク 200には、各フレーム 202ごとに、位置基準穴 280と ID 穴領域 282と力マスク 200の幅方向に並んで形成されている。それら位置基準穴 2 80および ID穴領域 282は、いずれも貫通穴（空気開口）としてマスク 200に形成されている。位置基準穴 280は、いずれかのフレームが照射位置 228に位置していることを光学的に検出するために設けられている。一方、 ID穴領域 282は、照射位置 228 に位置して、るフレームの IDすなわちパターン番号 PNを光学的に特定するために設けられている。

[0115] 本実施形態においては、 ID穴領域 282力 3ビットの情報によって 8個のフレーム 2 02すなわち 8種類のパターン光をそれぞれ識別する。そのため、各フレーム 202ごとの ID穴領域 282には、最大で 3個の ID穴 290, 292, 294が形成される。

[0116] 図 11に示すように、投影機構 66は、位置基準穴 280を光学的に検出するために、位置センサ 300を、マスク 200の幅方向位置に関して位置基準穴 280と一致する位置に備えている。本実施形態においては、その位置センサ 300は、位置基準穴 280 を高い位置精度で検出するために、絞ったビームをマスク 200に照射するとともに、マスク 200からの反射光を絞って受光する。

[0117] そのため、位置センサ 300は、発光素子としての LED302と、受光素子としてのフオトダイオード（以下、「PD」という。） 304と、 LED302のための集光素子としての LE Dレンズ 306と、 PD304のための集光素子としての PDレンズ 308とを含んでいる。この位置センサ 300は、図 7に示すように、処理部 16に電気的に接続されている。

[0118] PD304は、マスク 200からの反射光の受光の有無に応じて変化する PD信号を出力する。具体的には、 PD信号は、図 12にタイミングチャートで表すように、いずれの位置基準穴 280も位置センサ 300に対向しないために位置センサ 300からの光がマスク 200で反射して位置センサ 300に入射する場合に、ハイレベルを示す一方、いずれかの位置基準穴 280が位置センサ 300に対向するために位置センサ 300からの光がその位置基準穴 280を透過して位置センサ 300に入射しな、場合に、ローレベルを示すように変化する。

[0119] LEDレンズ 306は、 LED302からの光を集光してマスク 200に照射する集光機能を有する。 PDレンズ 308は、マスク 200からの反射光を集光して PD304に照射する集光機能を有する。それら LEDレンズ 306および PDレンズ 308により、位置基準穴 280の位置ひ、てはフレーム 202の位置を高精度に検出することが可能となって!/ヽる。

[0120] 図 11に示すように、投影機構 66は、さらに、 ID穴 290, 292, 294を光学的に検出するために、第 1ないし第 3の IDセンサ 310, 312, 314を備えている。それら第 1ないし第 3の IDセンサ 310, 312, 314はそれぞれ、マスク 200の幅方向位置に関して 3個の ID穴 290, 292, 294と一致する位置に配置されている。いずれの IDセンサ 3 10, 312, 314も、 ID穴領域 282に向けて光を照射する発光素子と、 ID穴領域 282 からの反射光を受光する受光素子とを含んで、る。

[0121] 第 1ないし第 3の IDセンサ 310, 312, 314の 3個の受光素子はそれぞれ、 ID穴領域 282からの反射光の有無を表す信号を、信号 S1ないし S3として出力する。それら信号 S1ないし S3は、前述の PD信号と同様に変化する。それら第 1ないし第 3の ID センサも、位置センサ 300と同様に、図 7に示すように、処理部 16に電気的に接続されている。

[0122] 図 12には、 PD信号および S1ないし S3信号が互いに同期して変化する様子の一例がタイミングチャートで表されている。処理部 16においては、後に詳述する力マスクモータ 65の駆動によってマスク 200が送られている間にいずれかの位置基準穴 280が位置センサ 300に対向したために PD信号がハイレベルからローレベルに変化した事象をトリガとして、第 1ないし第 3の IDセンサ 310, 312, 314からそれぞれ S 1ないし S3信号がサンプリングされる。

[0123] 図 11に示すマスク 200の例においては、第 1および第 3の IDセンサ 310, 314がそれぞれ、 ID穴 290, 294に対向するため、 S1信号および S3信号がそれぞれ、ハイレベルからローレベルに変化する一方、第 2の IDセンサ 312は、 ID穴 292に対向しないため、 S2信号がハイレベルに維持される。それらサンプリングされた S1ないし S3 信号のレベルの組合せにより、位置センサ 300によって検出されたフレーム 202の I Dすなわちパターン番号 PNが検出される。

[0124] 図 7には、 3次元形状検出装置 10の電気的な構成がブロック図で表されている。処理部 16はコンピュータ 400を主体として構成されており、そのコンピュータ 400は、 C PU402と、 ROM404と、 RAM406と、ノス 408とを含むように構成されて!/、る。

[0125] CPU402は、 ROM404に記憶されたプログラムを RAM406を利用しつつ実行することにより、レリーズボタン 40の操作状態の検出、撮像部 14からの画像データの取込み、その取り込まれた画像データの転送および格納、モード切替スィッチ 42の操作状態の検出等の各種処理を行う。

[0126] ROM404には、カメラ制御プログラム 404aと、撮像処理プログラム 404bと、輝度画像生成プログラム 404cと、コード画像生成プログラム 404dと、コード境界抽出プログラム 404eと、最大輝度画像生成プログラム 404fと、コード境界の統合プログラム 4 04gと、コード境界の選択プログラム 404hと、レンズ収差補正プログラム 404iと、三角測量演算プログラム 404jと、マスクモータ制御プログラム 404kと、テーブルモータ制御プログラム 4041とが格納されて!、る。

[0127] カメラ制御プログラム 404aは、 3次元形状検出装置 10全体の制御を実行するために実行され、その制御には、図 13にフローチャートで概念的に表されているメイン処理が含まれる。

[0128] 撮像処理プログラム 404bは、被写体 Sの 3次元形状を検出するために複数種類のノターン光の各々を時系列に被写体 Sに投影し、各パターン光が投影されている状態の被写体 Sを複数の異なる露出条件で撮像してパターン光有画像を取得し、さらに、パターン光が投影されて、な、被写体 Sを撮像してパターン光無画像を取得するために実行される。

[0129] 輝度画像生成プログラム 404cは、撮像処理プログラム 404bの実行によって被写体 Sにつ、て取得された各画素の RGB値に基づき、複数枚のパターン光有画像にそれぞれ対応する複数枚の輝度画像を各露出条件毎に生成するために実行される

。すなわち、 CPU402が輝度画像生成プログラム 404cを実行することによって、輝度画像生成手段として、撮像部 14によって撮像される各パターン光有画像力ゝら各画素の輝度を算出した複数の輝度画像を複数の異なる露出条件に対してそれぞれ生成するのである。

[0130] 本実施形態においては、同じ被写体 Sに対して複数種類のパターン光が時系列に順次投影され、各パターン光が投影されるごとに撮像部 14の露出条件を変えながら被写体 Sが順次撮像される。そのようにして撮像された複数の異なる露出条件での複数枚のパターン光有画像の各々について各画素の RGB値が取得され、その結果、ノターン光の種類と同数の輝度画像が各露出条件毎に生成される。

[0131] コード画像生成プログラム 404dは、輝度画像生成プログラム 404cの実行によって生成された複数枚の輝度画像それぞれに対する閾値処理により生成される 2値化画像から、各画素毎に空間コードが割り当てられたコード画像を各露出条件毎に生成するために実行される。すなわち、 CPU402がコード画像生成プログラム 404dを実行すること〖こよって、コード画像生成手段として、複数の輝度画像に対して所定の閾値による閾値処理を行って各画素毎に空間コードを割り当てた、各露出条件毎のコード画像を生成するのである。

[0132] 概略的に説明するに、このコード画像生成プログラム 404dが実行されると、複数種類のパターン光のうちノターンライン間の間隔が最も狭いものが投影された被写体 S の輝度画像におけるパターンライン間の間隔が周期として取得され、その周期の輝度画像全体における分布が周期分布として取得される。

[0133] このコード画像生成プログラム 404dが実行されると、さらに、その取得された周期分布に従ってサイズが変化する可変窓が各パターン光ごとの輝度画像にローカルに設定されることにより、前記可変窓を用いたフィルタ処理により輝度画像全体に対して閾値がローカルに算出されて設定される。そのようにして設定された閾値の分布を表す閾値画像と各パターン光ごとの輝度画像との関係から、各パターン光ごとに 2値化画像が生成される。この 2値化画像は各露出条件ごとに生成される。

[0134] 可変窓を用いたフィルタ処理により輝度画像全体に対して閾値をローカルに算出する技術は、本出願人の特願 2004— 285736号明細書に詳細に開示されており、その明細書を参照することによってその明細書の内容を本明細書に引用する。

[0135] コード境界抽出プログラム 404eは、コード画像生成プログラム 404dの実行によつて生成された露出条件毎の各コード画像と、輝度画像生成プログラム 404cの実行によって生成された露出条件毎の各輝度画像とを利用することにより、空間コードの境界位置であるコードの境界座標をサブピクセル精度で各コード画像毎に抽出するために実行される。すなわち、 CPU402がコード境界抽出プログラム 404eを実行することによって、コード境界抽出手段として、空間コードのコード境界位置をコード画像から抽出する処理を各露出条件のコード画像それぞれに対して行うのである。

[0136] 最大輝度画像生成プログラム 404fは、輝度画像生成プログラム 404cの実行によつて生成された複数の輝度画像力ゝら各露出条件ごとにそれぞれ各画素の最大輝度値を検出して最大輝度画像を生成するために実行される。すなわち、 CPU402が最大輝度画像生成プログラム 404fを実行することによって、最大輝度画像生成手段として、各露出条件毎に、撮像部 14によって撮像される各撮像画像力も各画素の最大輝度値を検出して最大輝度画像を生成するのである。なお、上述の輝度画像生成手段と、コード画像生成手段と、コード境界抽出手段とにより、撮像部 14で撮像したパターン光投光画像からパターン光の軌跡を抽出するパターン光軌跡抽出手段が構成される。

[0137] コード境界の統合プログラム 404g及びコード境界の選択プログラム 404hは、コード境界抽出プログラム 404eの実行により抽出された各露出条件毎の複数のコード境界位置と最大輝度画像生成プログラム 404fの実行により生成された最大輝度画像とに基づいて、被写体 Sの 3次元形状を算出するための一つのコード境界位置を決定するために実行される。すなわち、 CPU402がコード境界の統合プログラム 404g及びコード境界の選択プログラム 404hを実行することによって、コード境界統合手段（パターン軌跡統合手段）として、各露出条件毎のコード境界位置 (パターン軌跡位置 )に基づいて、被写体 Sの 3次元形状を算出するための一つのコード境界位置 (パターン軌跡位置）を決定する。このコード境界の統合プログラム 404g及びコード境界の選択プログラム 404hは、図 24,図 25のフローチャートで概念的に表されている。 [0138] レンズ収差補正プログラム 404iは、コード境界の統合プログラム 404g及びコード境界の選択プログラム 404hの実行によって求められたコードの境界位置に対して、撮像光学系 30の収差補正を行うために実行される。

[0139] 三角測量演算プログラム 404jは、レンズ収差補正プログラム 404iの実行によって収差補正が行われたコードの境界座標から、その境界座標に関する実空間の 3次元座標を演算するために実行される。

[0140] マスクモータ制御プログラム 404kは、複数種類のパターン光を順次被写体 Sに投影すべくマスクモータ 65を制御するために実行される。このマスクモータ制御プログラム 404kは、図 17にフローチャートで概念的に表されて！/、る。

[0141] テーブルモータ制御プログラム 4041は、回転テーブル 184を被写体 Sと共に割り出し回転させるベくテーブルモータ 194を制御するために実行される。このテーブルモータ制御プログラム 4041は、他の処理と共に図 15にフローチャートで概念的に表されている。

[0142] 本実施形態においては、前述の一連のパターン光の被写体 Sへの投影および被写体 Sの撮像が、被写体 Sの回転位置が等間隔で割り出されるごとに行われる。具体的には、被写体 Sの回転位置が 90度ずつ間欠的に割り出され、各割り出し位置において、一連のパターン光の投影および被写体 Sの撮像が複数の異なる露出条件に対して行われる。その結果、被写体 Sの外面の全体領域が 4つの部分領域に分割され、各部分領域ごとに 3次元形状情報が取得される。それら 3次元形状情報について、互いに重複する部分を除去する処理が施されて互、に結合 (ステッチ）されることにより、被写体 Sに対応する 1つの 3次元形状情報が 3次元ステッチ形状として生成される。

[0143] さらに、本実施形態においては、その生成された 3次元ステッチ形状に、同じ被写体 Sについて計測された表面色情報がマッピングされることにより、ステッチテクスチャ画像が生成される。これにより、被写体 Sについての一連の 3次元入力処理が終了する。

[0144] 図 7に示すように、 RAM406〖こは、パターン光有画像格納部 406aと、パターン光無画像格納部 406bと、輝度画像格納部 406cと、コード画像格納部 406dと、コード境界座標格納部 406eと、収差補正座標格納部 406gと、 3次元座標格納部 406hと、周期分布格納部 406pと、閾値画像格納部 406qと、 2値化画像格納部 406rと、 3 次元ステッチ形状格納部 406sと、ステッチテクスチャ画像格納部 406tと、システムパラメータ格納部 406uと、最大輝度画像格納部 406vと、露出別パラメータテーブル格納部 406wと、ワーキングエリア 410とがそれぞれ記憶領域として割り当てられている

[0145] パターン光有画像格納部 406aは、撮像処理プログラム 404bの実行によって撮像されたパターン光有画像を表すパターン光有画像データを格納する。パターン光無画像格納部 406bは、撮像処理プログラム 404bの実行によって撮像されたパターン光無画像を表すパターン光無画像データを格納する。

[0146] 輝度画像格納部 406cは、輝度画像生成プログラム 404cの実行によって生成された輝度画像を表すデータを格納する。コード画像格納部 406dは、コード画像生成プログラム 404dの実行によって生成されたコード画像を表すデータを格納する。コード境界座標格納部 406eは、コード境界抽出プログラム 404eの実行によってサブピクセル精度で抽出された各コードの境界座標を表すデータを格納する。

[0147] 収差補正座標格納部 406gは、レンズ収差補正プログラム 404iの実行によって収差補正が行われたコードの境界座標を表すデータを格納する。 3次元座標格納部 4 06hは、三角測量演算プログラム 404jの実行によって演算された実空間の 3次元座標を表すデータを格納する。

[0148] 周期分布格納部 406p、閾値画像格納部 406qおよび 2値ィ匕画像格納部 406rは、コード画像生成プログラム 404dの実行によって取得された周期分布、閾値画像および 2値化画像を表すデータをそれぞれ格納する。

[0149] 3次元ステッチ形状格納部 406sは、前述の 3次元ステッチ形状を格納し、ステッチテクスチャ画像格納部 406tは、前述のステッチテクスチャ画像を格納する。また、最大輝度画像格納部 406vは、前述の最大輝度画像を格納する。また、システムパラメータ格納部 406uは、前述のシステムパラメータを格納する。

[0150] 露出別パラメータテーブル格納部 406wは、露出条件情報格納部として、撮像部 1 4における CCD70の露出を設定するための異なる複数の露出条件の情報を露出別ノラメータテーブルとして格納する。この露出別パラメータテーブルには、撮像部 14 の CCD70の露光時間を切り替えるための複数の露光時間パラメータを有しており、撮像処理プログラム 404bの実行に伴って、これら複数の露光時間パラメータが順次撮像部 14に設定され、 CCD70の露光時間が切り替えられる。本実施形態においては、 CCD70の露光時間が露出条件となり、露光時間によって露出条件を切り替えられる構成について説明する力これに限られるものではなぐ撮像部 14の露出が光学系部材によって設定されるものにおいては、シャッターの絞りの度合いを変更することによって、露出条件を切り替えるようにしてもよい。

[0151] ワーキングエリア 410は、 CPU402がその動作のために一時的に使用するデータを格納する。

[0152] ここで、システムパラメータ格納部 406uに格納するシステムパラメータについて説明する。

[0153] 本実施形態における 3次元形状検出装置 10では、 3次元空間の 1点を、平面と直線の交点、 2本の直線の交点として決定するアクティブ型 3次元画像計測法を用いる。すなわち、所定の位置にある投影部から投影されるパターン光と、所定の位置にある撮像部力もの視線とを、それぞれ平面と直線として捉え、投影部及び撮像部による結像光学系をその位置及び姿勢などを含むシステムパラメータによってモデルィ匕し、このシステムパラメータを用いて 3次元形状を計測する。システムパラメータは、カメラノラメータ及びプロジェクタパラメータとから構成されるノメラメータであり、以下具体的に説明する。

[0154] カメラパラメータは、以下の 3 X 4のパラメータで表される。このパラメータには、撮像部に関して、その位置、姿勢、画角などのデータが含まれることになる。言い換えれば、撮像部からの視線を表す。

[0155] [数 1]

二のカメラパラメータにより、実空間 3次元座標 (X, Υ, Z)と撮像部における歪曲収差補正後の撮像座標系の座標（ccdcx, ccdcy)との関係は、以下の式のように表す: とがでさる。

[0156] [数 2]

X

C1 1 C12 C13 C14

Y

C21 C22 C23 C24

C31 C32 C33 C34 また、プロジェクタパラメータは、以下の 2 X 4のパラメータで表される。このパラメ一タには、投影部に関して、その位置、姿勢などのデータが含まれることになる。言い換えれば、パターン光の平面を表す。

[0157] [数 3]

Ρ1 1 Ρ12 Ρ13 Ρ14

Ρ =

Ρ21 Ρ22 Ρ23 Ρ24 このプロジェクタパラメータにより、実空間 3次元座標 (X, Υ, Ζ)と空間コード境界値 codeとの関係は、以下の式にように表すことができる。

[0158] [数 4]

X

P1 1 P12 P13 P14 Y

P21 P22 P23 P24

以上のカメラパラメータ及びプロジェクタパラメータを元に、以下の式によって被写体 Sの実空間 3次元座標 V= (X, Y, Z)を求めることができる。

[0159] [数 5] F=Q X V

V=Q— ¹ F

C34 ccdcx-C14

C34*ccdcy-C24

P24*code-P14

C1 1 -C31 *ccdcx C12-C32*ccdcx C13-C33*ccdcx

Q = C21 -C31 *ccdcy C22-C32*ccdcy G23— G33 ccdcy

P1 1 -P21 *code P12-P22*code P13-P23*ccdcxソ

x

v= Y

以上のようなシステムパラメータ、すなわちカメラパラメータ及びプロジェクタパラメタがシステムパラメータ格納部 406uに格納されることになる。

[0160] ここで、図 13を参照することにより、カメラ制御プログラム 404aを説明する。このカメラ制御プログラム 404aがコンピュータ 400によって実行されることにより、前述のメイン処理が実行される。

[0161] このメイン処理においては、まず、ステップ S101 (以下、単に「S101」で表す。他のステップについても同じとする。 )において、テリ 74を含む電源が ONされる。次に S102において、処理部 16、周辺インタフェイス等が初期化される。

[0162] 続いて、 S 103において、モード切替スィッチ 42の操作状態を判別するためにキースキャンが行われ、その後、 S104において、モード切替スィッチ 42の操作によって 3 Dモードが選択されたカゝ否かが判定される。その後、詳述する S 106の立体画像処理が実行され、続いて、 S 103〖こ戻る。

[0163] これに対し、今回は、モード切替スィッチ 42の操作によって 3Dモードが選択されな力つたと仮定すれば、 S104の判定力 NOとなり、 S107において、モード切替スイツチ 42の操作によってオフモードが選択された力否かが判定される。今回は、モード切替スィッチ 42の操作によってオフモードが選択されたと仮定すれば、判定が YES となり、直ちに今回のメイン処理が終了する力今回は、モード切替スィッチ 42の操作によってオフモードが選択されな力つたと仮定すれば、判定が NOとなり、 S103に戻る。

[0164] 図 14には、図 13における S106が立体画像処理ルーチンとしてフローチャートで概念的に表されている。この立体画像処理ルーチンの実行により、被写体 Sの 3次元形状を立体画像として検出し、表示する立体画像処理が実行される。この立体画像処理においては、さらに、同じ被写体 Sの表面色も検出される。それら立体画像の検出結果と表面色の検出結果とが位置に関連付けて組み合わされたものが 3次元色形状検出結果である。

[0165] この立体画像処理においては、まず、 S1001において、ファインダ画像、すなわち、撮像光学系 30を通して見える範囲の画像と同じ画像がモニタ LCD44に表示される。よって、ユーザは、モニタ LCD44に表示された画像を見ることにより、実際の撮像前に、撮像画像 (撮像範囲)を確認することができる。

[0166] 次に、 S1002において、レリーズボタン 40の操作状態がスキャンされ、その後、 S1 003において、そのスキャン結果に基づき、レリーズボタン 40が半押し状態にあるか否かが判定される。半押し状態にあれば、判定力 SYESとなり、 S1004において、ォ一トフォーカス (AF)および自動露出 (AE)機能が起動し、それにより、ピント、絞りおよびシャツタスピードが調節される。レリーズボタン 40が半押し状態になければ、 S10 03の判定が NOとなり、 S1011に移行する。なお、 S1004において起動した自動露出 (AE)機能によって調整された露出条件は、ワーキングエリア 410に一時的に設定され、後述するパターン光無画像を撮像する際に用いられる。

[0167] S1004の実行後、 S1005において、再度、レリーズボタン 40の操作状態がスキヤンされ、その後、 S1006において、そのスキャン結果に基づき、レリーズボタン 40が全押し状態にあるカゝ否かが判定される。レリーズボタン 40が全押し状態になければ、この S1006の判定が NOとなって S1002に戻る。

[0168] レリーズボタン 40が半押し状態力ゝら全押し状態に移行すれば、 S1006の判定が Y ESとなり、 S1007において、後述の 3次元色形状検出処理が実行され、それにより、被写体 Sの 3次元形状および表面色が検出される。

[0169] 概略的に説明するに、その 3次元色形状検出処理により、被写体 Sについて 3次元色形状検出結果が生成される。ここに、 3次元色形状検出結果とは、後述の空間コード画像において検出される複数の空間コード境界座標を 3次元座標に変換した結果取得される頂点座標の集合体であって、各頂点ごとに色形状情報とポリゴン情報とが互いに関連付けられたものを意味する。色形状情報は、実空間座標と RGB値との組合せを表す情報である。ポリゴン情報は、複数個の頂点のうち、被写体 Sを 3次元的に表面する立体を構成するために互いに連結されるべき複数の頂点の組合せを表す情報である。

[0170] その後、 S1008において、その 3次元色形状検出結果が外部メモリ 78に格納され、続いて、 S1009〖こおいて、その 3次元色形状検出結果が 3次元コンピュータグラフイツク画像としてモニタ LCD44に表示される。

[0171] その後、 S1010において、図 13における S103と同様にしてキースキャンが行われる。続いて、 S 1011において、モード切替スィッチ 42の操作状態に変化が無いか否かが判定される。変化が無ければ、 S1011の判定力YESとなり、 S1001に戻るが、変化が有れば、 S1011の判定が NOとなり、今回の立体画像処理が終了する。

[0172] 図 14の S 1007において実行される 3次元色形状検出処理においては、空間コード化法を用、て被写体 Sの 3次元形状が検出される。

[0173] 図 15には、図 14における S1007が 3次元色形状検出処理ルーチンとしてフローチヤートで概念的に表されている。この 3次元色形状検出処理ルーチンには、テーブルモータ制御プログラム 4041が組み込まれており、このテーブルモータ制御プログラム 4041は、図 15における S1201および S1221ないし S1223を含むように構成されている。

[0174] この 3次元色形状検出処理ルーチンにおいては、まず、 S1201において、回転テ一ブル 184の回転位相 PHが 0に初期化される。本実施形態においては、回転テーブル 184が 1回転する間に 4回停止させられるため、回転テーブル 184には 4つの回転位相 PHが離散的に設定される。具体的には、回転位相 PHは、初期の回転位相 PHを表す「0」と、次の回転位相 PHを表す「1」と、次の回転位相 PHを表す「2」と、最後の回転位相 PHを表す「3」とに離散的に変化させられる。

[0175] 次に、 S1210において、撮像処理プログラム 404bが実行されることにより、今回の回転位相 PHについて撮像処理が実行される。この撮像処理においては、投影部 12 からストライプ状のパターン光が時系列的に被写体 sに投影される。さらに、複数種類のパターン光が投影されている被写体 sをそれぞれ複数の異なる露出条件で撮像した各露出条件毎の複数枚のパターン光有画像と、パターン光が投影されて、なヽ同じ被写体 Sを撮像した 1枚のパターン光無画像とが取得される。この S1210は、後に図 16を参照して詳述する。

[0176] 撮像処理が終了すると、 S1220において、今回の回転位相 PHについて 3次元計測処理が実行される。この 3次元計測処理が実行されると、上述の撮像処理によって取得された各露出条件毎の複数枚のパターン光有画像と 1枚のパターン光無画像とが利用されて、実際に被写体 Sの 3次元形状が計測される。この S1220は、後に図 2 2を参照して詳述する。

[0177] この 3次元計測処理が終了すると、 S1221において、次回の撮像に備えて、回転位相 PHが 1だけインクリメントされる。続いて、 S1222において、回転位相 PHの現在値力より大きいか否力、すなわち、被写体 Sについての一連の撮像が既に終了している力否かが判定される。

[0178] 今回は、回転位相 PHの現在値力より大きくはないと仮定すれば、その S1222の判定が NOとなり、 S1223において、回転テーブル 184を時計方向に 90度回転させるのに必要な駆動信号がテーブルモータ 194に対して出力される。その結果、回転テーブル 184が時計方向に 90度回転させられ、それにより、被写体 Sが、前回の撮像時とは異なる部分領域において測定ヘッド MHに対向させられる。その後、 S121 0および S1220が実行され、それにより、次の回転位相 PHについて前述の撮像処理および 3次元計測処理が行われる。

[0179] S1210ないし S1223のループが必要回数実行された結果、 S1222の判定力

Sとなれば、その後、 S 1230において、被写体 Sについて計測された 3次元形状と表面色とを組み合わせることにより、 3次元色形状検出結果が生成される。この S1230 は、後に図 27を参照して詳述する。

[0180] この 3次元色形状検出結果が生成されると、今回の 3次元色形状検出処理が終了する。

[0181] ここで、図 16を参照することにより、図 15における S1210を詳述する。図 16には、その S1210が撮像処理プログラム 404bとしてフローチャートで概念的に表されている。

[0182] この撮像処理プログラム 404bにおいては、まず、 S2001において、パターン光を形成するために使用されるマスクパターンの番号を表すパターン番号 PNが 0に初期化される。続いて、 S2002において、そのパターン番号 PNの現在値が最大値 PNm axより小さいか否かが判定される。その最大値 PNmaxは、使用されるマスクパターンの合計数に応じて決定される。例えば、 8種類のマスクパターンが使用される場合には、最大値 PNmaxが 8に設定される。

[0183] 今回は、パターン番号 PNの現在値が最大値 PNmaxより小さいと仮定すれば、 S2 002の判定力 SYESとなり、続いて、 S2002aにおいて、マスクモータ制御プログラム 4 04kが実行される。

[0184] このマスクモータ制御プログラム 404kにおいては、図 17に示すように、まず、 S220 1において、マスクモータ 65を一定速度で回転駆動するための信号がマスクモータドライバ 86に供給される。これにより、マスク 200が供給ローラ 220から照射位置 228に供給される向きにマスク 200が送られる。

[0185] 次に、 S2202にお!/、て、位置センサ 300から PD信号が読み取られる。続!、て、 S2 203において、その読み取られた PD信号がローレベルを示すか否かが判定される。すなわち、位置センサ 300がいずれかの位置基準穴 280 (今回は、先頭の位置基準穴 280)が検出されたか否かが判定されるのである。

[0186] 今回は、 PD信号がハイレベルを示すと仮定すれば、 S2203の判定力 SNOとなり、 S 2201に戻り、マスクモータ 65の駆動および PD信号の読み取りが繰り返される。 S22 01ないし S2203の実行が何回か繰り返された結果、 PD信号がハイレベルからローレベルに変化したと仮定すれば、 S2203の判定力YESとなる。

[0187] その後、 S2204において、第 1ないし第 3の IDセンサ 310ないし 314から S1ないし S3信号がそれぞれ読み取られる。続いて、 S 2205〖こおいて、それら読み取られた S 1な!、し S3信号のレベルの組合せ（3ビットの情報）がパターン番号 PNの現在値を表すか否かが判定される。すなわち、マスク 200における複数のフレーム 202のうち現在、照射位置 228に位置して!/、るものすなわち現在フレーム 202のパターン番号 PN 力、パターン番号 PNの現在値と一致するか否かが判定されるのである。

[0188] 今回は、現在フレーム 202のパターン番号 PNがパターン番号 PNの現在値と一致しないと仮定すると、 S2205の判定力 SNOとなり、 S2201に戻る。これに対し、今回は、現在フレーム 202のパターン番号 PNがパターン番号 PNの現在値と一致すると仮定すると、 S2205の判定力YESとなる。本実施形態においては、マスク 200において複数のフレーム 202が並ぶ順序と同じ順序に、パターン番号 PNが 1ずつ増加させられるようになっている。すなわち、マスク 200がシーケンシャルに送られるようになつているのであり、よって、 S2205の判定は、 3次元形状検出装置 10に異常が存在しない限り、 YESとなる。

[0189] S2205の判定が YESとなると、その後、 S2206において、マスクモータ 65が停止させられ、それにより、現在フレーム 202が照射位置 228に停止させられる。その結果、現在フレーム 202の位置決めが完了する。

[0190] 以上で、このマスクモータ制御プログラム 404kの一回の実行が終了する。

[0191] なお付言するに、本実施形態においては、マスクモータ 65の間欠的駆動によるマスク 200の間欠的送りにより、複数のフレーム 202が順次、照射位置 228に位置決めされるように、マスクモータ 65が制御される。これに対し、マスクモータ 65の連続的駆動によるマスク 200の連続的送りにより、複数のフレーム 202が順次、照射位置 228 に位置決めされるように、マスクモータ 65が制御される態様で本発明を実施することが可能である。

[0192] ところで、前述のように、本実施形態においては、マスク 200において各貫通穴 20 4の長さ方向がマスク 200の送り方向に一致させられている。よって、マスク 200の移動中でも、いずれかのフレーム 202が照射位置 228を通過する際に、同じフレーム 2 02によって同じパターン光が生成されて被写体 Sに投影される時間を確保することが容易である。

[0193] したがって、マスク 200が一時的に停止しないにもかかわらず、同じパターン光を事実上、静止画像として被写体 Sに投影することが容易である。このことは、マスク 200 の連続的送りにより、複数のフレーム 202を順次、照射位置 228に確実に位置決めするために好都合である。 [0194] 本実施形態においては、マスクモータ制御プログラム 404kの一回の実行が終了すると、図 16における S2003において、使用される複数種類のマスクパターンのうち、パターン番号 PNの現在値と等しい番号が付された PN番目のマスクパターンの投影が開始される。

[0195] 続いて、 S2004において、 PN番目のマスクパターンを被写体 Sに投景するための投影処理が行われる。図 18には、この S2004の詳細が投影処理サブルーチンとしてフローチャートで概念的に表されている。この投影処理サブルーチンの実行により

、 PN番目のマスクパターンを有するパターン光を投影部 12から被写体 Sに投影する投影処理が投影機構 66との共同作用によって実行される。

[0196] この投影処理においては、まず、 S3004において、光源ドライノ 84が駆動され、続いて、 S3005において、その光源ドライノく 84からの電気信号によって LED62が発光する。以上で、今回の投影処理が終了する。

[0197] LED62から発光した光は、光源レンズ 64を経て投影機構 66に到達する。その投影機構 66においては、マスク 200の現在フレーム 202の開口パターンに応じた空間変調が施され、その結果、投影機構 66への入射光がパターン光に変換されて出力される。その投影機構 66から出力されるパターン光は、投影光学系 32を経て被写体 Sに投影画像として投影される。

[0198] 以上のようにして、 PN番目のマスクパターンによって形成される PN番目のパターン光が被写体 Sに投影されると、続いて、図 16における S2005において、その PN番目のパターン光が投影されている被写体 Sが撮像部 14によって撮像される。

[0199] その撮像により、 PN番目のパターン光が投影されている被写体 Sを撮像した PN番目のパターン光有画像が複数の異なる露出条件それぞれについて取得される。その取得されたパターン光有画像は、対応するパターン番号 PNに関連付けてパターン光有画像格納部 406aに格納される。

[0200] ここで、撮像部 14における露出条件について、図 19を参照して詳説する。図 19に示すグラフは、撮像部 14から出力される画像信号の出力輝度と被写体 S表面の実際の輝度との関係を示したものであり、これらの関係が撮像部 14における露出条件それぞれの特性が示されている。なお、この図 19におけるグラフは、横軸 (被写体 Sの表面輝度）を対数として模式的に表したものである。

[0201] 本実施形態においては、撮像部 14の露出条件として、露出条件 [0]〜露出条件 [i EvNumMax-1]の 7つの露出条件を有して、る。露出条件 [0]が最も低、露出（最低露出）であり、露出条件 [1] , [2] , · · , [iEvNumMax— 1]の順に露出が大きくなる。露出条件 [iEvNumMax-Ι]が最も高い露出（最高露出）である。一つの露出条件のダイナミックレンジは、図 19に示すように狭い範囲となっている力これら 7つの露出条件を切り替えることによって撮像部 14で撮像できる被写体 Sの表面輝度は広い範囲のものとなる。

[0202] また、各露出条件において検出することができる被写体 Sの表面輝度は、隣接する露出条件同士でそのダイナミックレンジが重複するようにしている。たとえば、露出条件 [3]のダイナミックレンジ（図 19における bl〜b2の範囲）となり、露出条件 [4]のダイナミックレンジ（図 19における cl〜c2の範囲）や露出条件 [2]のダイナミックレンジ (図 19における dl〜d2の範囲）と重複する。したがって、被写体 Sの所定範囲の表面輝度（図 19における al〜a2)は、最低露出と最高露出の間におけるいずれかの露出条件のダイナミックレンジ内となる。なお、ここでは、各撮像条件に関し、それぞれのダイナミックレンジよりも狭、範囲（cMinO[iEvNum]〜cMax[iEvNum])を後述のコード境界座標を選択するための有効輝度範囲とする。

[0203] ところで、撮像部 14の露出条件の設定は、露出別パラメータテーブル格納部 406 wに格納された複数の露光時間パラメータのうち一つの露光時間パラメータを撮像部 14に設定することによって行われる。すなわち、 CPU402が露出別パラメータテーブル格納部 406wから露光時間パラメータを取り出し、撮像部 14に送信し、撮像部 1 4側にぉ、て露光時間パラメータに応じた露光時間で撮像を行うように構成して!/、る。なお、図 20に示すように、露出別パラメータテーブル格納部 406wには、露出条件、露出設定インデックス iEvNumがそれぞれ対応して格納されており、露出条件 [0]〜露出条件 [iEvNumMax- 1]に対してそれぞれ露出時間パラメータ Ev[0]〜Ev[iEvNum Max- 1]が対応する。

[0204] なお、本実施形態においては、露出条件 [0]〜露出条件 [iEvNumMax-1]の 7つの露出条件で撮像部 14の露光時間を変更できることとして、るが、ダイナミックレンジが大きい撮像部 14である場合には、この露出条件が 7つ有る必要はない。

[0205] ここで、図 21を参照することにより、図 16における S2005の処理を詳述する。図 21 には、その S2005がパターン光画像撮像処理サブルーチンとしてフローチャートで概念的に表されている。このサブルーチンは、 CPU402による撮像処理プログラム 4 04bの実行による処理である。

[0206] このサブルーチンにおいては、まず、 S2020において、露出設定インデックス iEvN umが「0」〖こリセットされる。

[0207] 次に、 S2021において、露出設定インデックス iEvNumが「iEvNumMax」よりも小さいか否かが判定される。今回は、露出設定インデックス iEvNumが「iEvNumMax」よりも小さヽ「0」であるので、その S2021の半 IJ定カYESとなり、 S2022にお!/、て、撮像咅 14 に対して露出設定インデックス iEvNumに対応する露出条件 [iEvNum]を設定する。

[0208] たとえば、露出設定インデックス iEvNumが「0」であるとき、露出別パラメータテープル格納部 406wから複数の露出条件に対応する露出時間パラメータ Ev[0]〜Ev[iEvN umMax-1]のうち、露出時間パラメータ Ev[0]が取り出される。このように取り出された露出時間パラメータ Ev[0]は、撮像部 14に設定される。露出時間パラメータ Ev[0]が撮像部 14に設定されると、撮像部 14は露出条件 [0]による撮像が可能となる。

[0209] 次に、 S2023において、 Ν番目のパターン光が投影されている被写体 S力露出時間パラメータに応じた露出時間で撮像部 14によって撮像される。このように撮像されたパターン光有画像は、パターン光有画像格納部 406aに格納される。

[0210] 撮像部 14による撮像が終了すると、 S2024において、露出設定インデックス iEvNu mが 1だけインクリメントされる。続いて、 S2021に戻り、露出設定インデックス iEvNum 力 S「iEvNumMax」よりも小さいか否かが判定される。今回は、露出設定インデックス iEv Numが「iEvNumMax」よりも小さいと仮定すれば、その S2021の判定が YESとなり、 S 2022に移行する。

[0211] S2023における撮像処理の実行が露出設定インデックス iEvNumMaxの ¾i直と同数回繰り返された結果、露出設定インデックス iEvNum値が「iEvNumMax」以上になると、 S 2021の判定が NOとなり、撮像処理プログラム 404bによるパターン光画像撮像処理が終了する。 [0212] 以上の撮像が終了すると、 S2006において、 PN番目のパターン光の投影が終了し、続いて、 S2007において、次のパターン光を投影すベぐパターン番号 PNが 1 だけインクリメントされ、その後、 S2002に戻る。

[0213] S2002¾V、し S2007の実行がパターン光の種類の数と同数回繰り返された結果、パターン番号 PNの現在値が最大値 PNmaxより小さくはない値になると、 S2002の判定が NOとなり、今回の撮像処理が終了する。したがって、一回の撮像処理により、各露出条件に対して最大値 PNmaxと同数枚のパターン光有画像が取得されることになる。

[0214] 続いて、 S2008において、フラッシュモードが選択されているか否かが判定される。

フラッシュモードが選択されていれば、その判定が YESとなり、 S2009において、フラッシュ 26が発光させられる力フラッシュモードが選択されていなければ、 S2008 の判定が NOとなり、 S2009力スキップされる。いずれにしても、その後、 S2010において、被写体 Sが撮像される。

[0215] この撮像は、被写体 Sの表面色を計測することを目的として、投影部 12からパターン光を被写体 Sに投影することなぐ行われる。その結果、被写体 Sについて 1枚のパターン光無画像が取得される。その取得されたパターン光無画像はパターン光無画像格納部 406bに格納される。なお、このときの撮像部 14における露出条件は、 S10 04にて自動露出機能により取得した露出条件とするが、複数の露出条件のうちの中間の露出条件としてもよい。

[0216] 続いて、 S2011において、マスク 200のうちの長さ方向における先頭部分が照射位置 228に位置するようにマスク 200の長さ方向位置を初期化すべくマスクモータ 65が駆動される。

[0217] 以上で、この撮像処理プログラム 404bの一回の実行が終了する。

[0218] 本実施形態においては、被写体 Sからの入射光による CCD70の露光後に、その露光を反映した信号の CCD70からの取り出しが行われる。 1回の露光に 1回の信号取り出しが対応しており、それら露光と信号取り出しとが互いに共同して 1回の個別撮像処理を構成する。

[0219] 本実施形態においては、同じ被写体 Sについて 3次元形状情報の取得と表面色情報の取得とが連続的に、かつ、それらの順で行われる。

[0220] 被写体 Sの 3次元形状情報を取得するために、まず、露出別パラメータテーブル格納部 406w力複数の露出条件 [0]〜[iEvNumMax- 1]のうち最低露出条件 [0]の露出時間パラメータが順次取り出されて、それぞれの露出条件での撮像が行われる。このような複数の露出条件に対する撮像処理は、順次被写体 Sに投影される 8種類のパターン光 (パターン番号 PN = 0〜7)ごとに行われる。すなわち、被写体 Sの 3次元形状情報を取得するために、その被写体 Sに対する個別撮像処理が順次、各露出条件毎に 8回、合計 8 X iEvNumMax回行われるのである。

[0221] ここで、図 22を参照することにより、図 15における S1220を詳述する。図 22には、その S 1220が 3次元計測処理サブルーチンとしてフローチャートで概念的に表されている。

[0222] この 3次元計測処理サブルーチンにお!/、ては、まず、 S4001にお!/、て、 CPU402 によるカメラ制御プログラム 404aの実行により、露出設定インデックス iEvNumが「0」にリセットされる。

[0223] 次に、 S4002において、露出設定インデックス iEvNumが「iEvNumMax」よりも小さいか否かが判定される。今回は、露出設定インデックス iEvNumが「iEvNumMax」よりも小さヽ「0」であるので、その S4002の半 IJ定カYESとなり、 S4003にお!/ヽて、輝度画像生成プログラム 404cの実行により、露出設定インデックス iEvNumに対応する露出条件 [iEvNum]で撮像された複数枚のパターン光有画像に基づき、露出設定インデックス iEvNumに対応する露出条件 [iEvNum]での輝度画像が生成される。

[0224] この S4003においては、輝度値が、 YCbCr空間における Y値として定義されており、各画素の RGB値より、

Y=0. 2989 -R+O. 5866 -G + O. 1145 -B

なる式を用いて計算される。各画素について Υ値を求めることにより、露出設定インデッタス iEvNumに対応する露出条件 [iEvNum]での複数枚のパターン光有画像にそれぞれ対応する複数枚の輝度画像が生成される。それら生成された輝度画像は、露出設定インデックス iEvNum及びパターン番号 PNに関連付けされて輝度画像格納部 406cに格納される。ただし、輝度値の算出に用いられる式は、上記式に限定されるものではなく、他の式に適宜変更することが可能である。

[0225] 次に、 S4004において、 CPU402によって最大輝度画像生成プログラム 404fが実行される。この最大輝度画像生成プログラム 404fが実行されると、輝度画像格納部 406cに格納された露出設定インデックス iEvNumに対応する露出条件 [iEvNum]での複数枚の輝度画像から最大輝度画像が生成される。その生成された最大輝度画像は露出設定インデックス iEvNumに関連付けされて最大輝度画像格納部 406vに格納される。

[0226] この最大輝度画像の生成は、露出設定インデックス iEvNumに対応する露出条件での複数枚の輝度画像の各画素毎に最大輝度値を集めることによって行われるものである。すなわち、 CCD70の結像面に設定された 2次元座標系である CCD座標系 cc dx— ccdyの各座標位置毎に、露出設定インデックス iEvNumに対応する露出条件 [iE vNum]での複数枚の輝度画像のうち最も高い輝度値を抽出することによって最大輝度画像を生成するのである。

[0227] 次に、 S4005において、 CPU402によってコード画像生成プログラム 404dが実行される。このコード画像生成プログラム 404dが実行されると、露出設定インデックス iE vNumに対応する露出条件 [iEvNum]での複数枚の輝度画像の組み合わせにより、各画素ごとに空間コードが割り当てられたコード画像が生成される。そのコード画像は、輝度画像格納部 406cに格納された露出設定インデックス iEvNumに対応する露出条件 [iEvNum]での複数種類のパターン光有画像に関する輝度画像に対する各画素ごとに輝度閾値が割り当てられた閾値画像との比較による 2値ィ匕処理（閾値処理)の結果画像 (2値化画像)を使って生成される。その生成されたコード画像は露出設定ィンデッタス iEvNumに関連付けされてコード画像格納部 406dに格納される。

[0228] 図 23には、このコード画像生成プログラム 404dの詳細がフローチャートで概念的に表されて、る。このコード画像生成プログラム 404dにお、て採用されて、る技術、特に S5001から S5004にわたる閾値画像の生成技術は、本出願人の特願 2004— 2 85736号明細書に詳細に記載されているため、その特許出願を参照することにより、その特許出願の内容を本明細書に引用する。

[0229] 以下、このコード画像生成プログラム 404dを時系列的に説明する力それに先立ち、原理的に説明する。

[0230] 本実施形態においては、同じ被写体 S (3次元対象物）にっき、複数種類のパターン光のもとにそれぞれ複数枚の輝度画像が生成される。それらパターン光はいずれも、明部、すなわち、幅を有する明るいパターンラインと、暗部、すなわち、幅を有する喑、パターンラインとが交互に一定の周期で繰り返すように形成される。それらバターン光は、その周期に関して互いに異なっており、それぞれ、パターン番号 PNを有するパターン光と称される。それらパターン光のうち最も短、周期を有するパターン光力パターン番号 PNが 0であるパターン光であり、最も長い周期を有するパターン光力パターン番号 PNが（PNmax— 1)であるパターン光である。

[0231] いずれの輝度画像も、対応するパターン光のもとに取得されるため、明部としての明る、パターンラインと、暗部としての喑、パターンラインとが交互に並んで成るパターン画像として形成される。パターンライン間の間隔すなわち周期は、 3次元形状検出装置 10と被写体 Sとの間における相対的な幾何学的関係 (位置および向きに関する関係）に依存するため、各輝度画像内のすべての位置において一定であるとは限らない。複数種類のパターン光のもとにそれぞれ取得される複数枚の輝度画像は、対応するパターン光のパターン番号 PNを用いて特定される。

[0232] 本実施形態においては、それら複数枚の輝度画像のうちのいずれかが代表パターン画像に選択される。その代表パターン画像の一典型例は、複数種類のパターン光のうちパターンライン周期が最小であるものに対応する輝度画像であり、これは、パターン番号 PNが 0である輝度画像である。

[0233] ノターン光が投影された被写体 Sを撮像した輝度画像にぉ、ては、輝度値が画素列の方向において空間的にかつ周期的に変化する。その周期的変化を表すグラフにそれの複数個の下ピーク点（最低輝度点）において接する包絡線が存在する。この包絡線は、同じ被写体 Sを無照射状態で撮像した輝度画像における輝度値、すなわち、被写体 Sの背景光の輝度値の空間的変化を表している。このような包絡線が存在する輝度画像にっ、ては、各画素の輝度値を閾値処理によって正確に 2値ィ匕するためには、閾値を画素位置に応じて変化させることが望ましい。すなわち、輝度画像の実際の輝度値変化をトラッキングすることによって閾値を適応的に変化させることが望ましいのである。

[0234] このような知見に基づき、本実施形態においては、輝度画像に対してフィルタ処理を行うことによって閾値を算出するフィルタ窓がローカルに設定され、フィルタ処理されることによりその位置に適した閾値力輝度画像に対してローカルに設定される。輝度画像のうちのあるローカル位置に窓が設定されれば、輝度画像を構成する複数本のパターンラインのうちその窓内に存在する画素の輝度値が取り出されて参照されることにより、そのあるローカル位置に対応する閾値が設定される。

[0235] 本実施形態において使用される窓は、方形窓である。この方形窓を採用する場合には、その方形窓内に存在する複数本のパターンラインを構成する画素の輝度値が取り出され、それら輝度値に対して同一の重み係数が用いられて閾値が算出される。その重み係数により、方形窓の窓関数が定義される。

[0236] さらに、方形窓を採用する場合には、その方形窓の、パターンラインが延びるライン方向におけるライン方向サイズに応じて、その方形窓内にぉ、てライン方向に存在する画素の数を可変とすることができる。一方、その方形窓の、複数本のパターンラインが列を成して並ぶ列方向における列方向サイズに応じて、その方形窓内において列方向に存在するパターンラインの数も画素の数も可変とすることができる。

[0237] したがって、方形窓を採用する場合には、その方形窓の列方向サイズにより、輝度画像に窓を設定することによってその輝度画像力算出される閾値が変化することになる。よって、その閾値を適応的に変化させることが必要である場合には、方形窓の列方向サイズを適応的に変化させればょ、。

[0238] 本実施形態においては、方形窓として構成される窓のサイズが、その窓内に存在するパターンラインの数がそれらパターンラインの間隔すなわち周期（例えば、明るいノターンラインが繰り返される周期）の整数倍であるように設定することが望ま、。すなわち、窓内に、明るいパターンラインと暗いパターンラインとが同数ずつ存在するように窓のサイズを設定することが望ましいのである。このように設定すれば、窓内に存在する複数本のパターンラインの輝度値の平均値を算出することにより、望ましい閾値を高精度取得することができる。

[0239] しかしながら、同じ輝度画像上であっても、パターンラインの周期は場所によって異なる可能性がある。そのため、窓のサイズを固定した場合には、窓内に存在するパターンラインの数が場所によって変動してしま、、閾値の設定精度が低下してしまう。

[0240] 本実施形態においては、複数枚の輝度画像のうち、ノターンラインの周期が最小であるパターン光のもとに撮像されたもの、すなわち、パターン番号 PNが 0である輝度画像が代表パターン画像として選択される。さらに、本実施形態においては、その代表パターン画像に対してローカルに設定される窓 VW力それのサイズが可変である可変窓として構成されている。それにより、その可変窓 VWのサイズが、代表パターン画像の実際のノターンライン周期に適応して変化させられる。

[0241] したがって、本実施形態によれば、代表パターン画像におけるパターンライン周期が列方向位置に応じて変動しても、それに追従するように可変窓 VWのサイズが変更され、その結果、パターンライン周期の変動にもかかわらず、可変窓 VW内に存在する明部と暗部のパターンラインの数が一定に維持される。本実施形態においては、代表パターン画像に対して可変窓 VWが設定される各ローカル位置ごとに閾値 THが取得される。各ローカル位置ごとの閾値 THは、各ローカル位置に最適なサイズを有する可変窓 VWのもとに精度よく取得されることになる。

[0242] また、明部と暗部のパターンラインの数が一定に維持されるような可変窓 VWのサイズは、パターン番号 PNが 0である輝度画像において最小となる。したがって、パターン番号 PNが 0である輝度画像を代表パターン画像として選択することにより、最小の可変窓 VWのサイズが可能になり、可変窓 VWを用いた後のフィルタ処理の計算負担を抑えることが可能になる。

[0243] 本実施形態においては、その可変窓 VWが、サイズが可変である方形窓として構成されている。その可変窓 VWのサイズは、代表パターン画像の列方向には可変である力ライン方向には固定であるように設定されて、る。

[0244] 本実施形態においては、その可変窓 VWのサイズ、すなわち、代表パターン画像の列方向におけるサイズが、その代表パターン画像の実際のパターンライン周期を適応的に反映するように設定される。そのため、可変窓 VWのサイズを設定するために、代表パターン画像の実際のパターンライン周期分布が事前に判明していることが必要である。 [0245] よって、本実施形態においては、可変窓 VWのサイズの設定に先立ち、サイズが固定された固定窓が代表パターン画像に対して設定される。その設定された固定窓によって捕捉される複数個の連続画素が複数個の注目画素として選択され、それら選択された注目画素の輝度値に基づき、代表パターン画像の実際のノターンライン周期分布が取得される。

[0246] 本実施形態においては、さらに、代表パターン画像における複数個の注目画素の輝度値に対して FFT(Fast Fourier Transform :高速フーリエ変換）処理が施され、それにより、代表パターン画像の列方向において輝度値変化の周波数成分のそれぞれについて強度 (例えば、パワースペクトル）が取得される。ここに、「周波数成分」は、 1個の固定窓によって捕捉される複数個の注目画素を列方向に迪つた場合に、輝度値の変化が反復される反復回数を意味する。

[0247] 本実施形態にぉ、ては、代表パターン画像にぉ、て列方向に連続的に並んだ複数個の連続画素のそれぞれが順次注目画素に選定され、その選定された各注目画素ごとにパターンライン周期が、代表パターン画像の輝度値分布に基づいて取得される。取得されたパターンライン周期を参照して、閾値画像生成のためのフィルタ処理で用いる可変窓 VWのサイズを決定する。

[0248] 以上、このコード画像生成プログラム 404dを原理的に説明した力以下、図 23を参照することにより、時系列的に説明する。

[0249] このコード画像生成プログラム 404dにおいては、まず、 S5001において、露出設定インデックス iEvNumに対応する露出条件 [iEvNum]の輝度画像のうち、パターン番号 PNが 0であるパターン光が投影された被写体 Sが撮像された輝度画像が輝度画像格納部 406cから、代表パターン画像として読み込まれる。

[0250] 次に、 S5002において、その代表パターン画像につき、前記読み込まれた輝度画像に基づき、前述の FFT変換によるアプローチにより、代表パターン画像において列方向に連続的に並んだ各画素ごとにパターンライン周期が演算される。演算された複数個のパターンライン周期は各画素 (各列方向画素位置）に関連付けて周期分布格納部 406pに格納される。

[0251] 続いて、 S5003において、演算された複数個のパターンライン周期に基づき、可変窓 VWの特性がローカルに設定される。本実施形態においては、可変窓 VWのライン方向サイズは、その可変窓 VWが設定される代表パターン画像上の位置にかかわらず、変化しないように設定されるのに対し、可変窓 VWの列方向サイズは、各列方向画素位置に関連付けて演算されたパターンライン周期の整数倍に相当するように設定される。

[0252] その後、 S5004において、代表パターン画像に対して可変窓 VW力ライン方向と列方向とに沿って平面的に、かつ、各画素に関連付けて設定される。それにより、各画素ごとに、可変窓 VW内に存在する複数個の画素の輝度値の平均値がローカルな閾値として演算される。この S5004においては、さらに、演算された閾値が各画素に割り当てられた閾値画像が生成される。生成された閾値画像は露出設定インデッタス iEvNumに関連付けされて閾値画像格納部 406qに格納される。

[0253] 続いて、 S5005において、パターン番号 PNが 0に初期化され、その後、 S5006にお！、て、パターン番号 PNの現在値が最大値 PNmaxより小さ!/、か否かが判定される。今回は、パターン番号 PNの現在値が 0であるため、判定が NOとなり、 S5007に移行する。

[0254] この S5007にお!/、ては、パターン番号 PNの現在値と等し!/、パターン番号 PNが割り当てられ、かつ露出設定インデックス iEvNumに対応する露出条件 [iEvNum]の輝度画像の輝度値と、前記生成された露出設定インデックス iEvNumに対応する露出条件 [iEvNum]の閾値画像の閾値とが、各画素ごとに互いに比較される。その比較結果は、各画素ごとに 2値化画像に反映される。具体的には、輝度画像の輝度値が閾値より大きい場合には、「1」を表すデータが、 2値化画像のうち対応する画素位置に関連付けて 2値化画像格納部 406rに格納され、一方、輝度画像の輝度値が閾値より大きくはない場合には、「0」を表すデータが、 2値化画像のうち対応する画素位置に関連付けて 2値化画像格納部 406rに格納される。

[0255] その後、 S5008において、パターン番号 PNが 1だけインクリメントされる。続いて、 S 5006に戻り、パターン番号 PNの現在値が最大値 PNmaxより小さいか否かが判定される。今回も、最大値 PNmaxより小さい場合には、判定が NOとなり、 S5007に移行する。 [0256] S5006¾V、し S5008の実行がパターン光の種類の数と同数回繰り返された結果、パターン番号 PNの現在値が最大値 PNmaxより小さくはない値になると、 S5006の半 IJ定カ SYESとなり、 S5009に移行する。

[0257] この S5009においては、各画素ごとに、最大値 PNmaxと同数枚の 2値化画像から画素値（「1」または「0」 ) 1S 露出設定インデックス iEvNumに対応する露出条件 [iEvN um]で、かつパターン番号 PNが 0である輝度画像に対応する 2値化画像から、パターン番号 PNが（PNmax— 1)である輝度画像に対応する 2値ィ匕画像に至る順序に従つて抽出され、最下位ビット LSM力も最上位ビット MSBに至る順序に従って並んだ空間コードが生成される。各画素ごとの空間コードのビット数は、最大値 PNmaxと同数である。各画素ごとに空間コードが生成されることにより、今回の被写体 Sに対応する空間コード画像が生成される。生成された空間コードは、各画素位置及び露出設定インデックス iEvNumに関連付けられて空間コード格納部 116dに格納される。例えば、最大値 PNmaxが 8である場合には、生成される空間コードは 0から 255までの範囲内の値を有する。

[0258] 以上で、このコード画像生成プログラム 404dの一回の実行が終了する。

[0259] その後、図 22における S4006において、コード境界抽出プログラム 404eの実行により、コード境界座標検出処理が実施される。前述の空間コード化法によるコードィ匕は、各画素単位で行われるため、実際のパターン光における明暗の境界線と、前記生成された露出設定インデックス iEvNumに対応する露出条件 [iEvNum]でのコード画像における空間コードの境界線 (ある空間コードが割り当てられた領域と別の空間コードが割り当てられた領域との間の境界線)との間にサブピクセル精度の誤差が生ずる。そのため、このコード境界座標検出処理は、空間コードの境界座標値をサブピクセル精度で検出することを目的として実施される。空間コードの境界座標値をサブピクセル精度で検出する処理の詳細については、本出願人の特願 2004— 1054261 号明細書に詳細に開示されている。

[0260] このコード境界座標検出処理は、コード画像を参照することにより検出した境界座標値 (画素境界でしか検出できな!、ので整数精度)付近の輝度画像を参照して輝度の変化を多項式で近似し、同時に境界座標値付近の閾値の平均値を算出する。そして、輝度の変化を近似した多項式と、付近の閾値の平均値の交点を算出 (小数精度：サブピクセル精度)することにより、空間コードの境界座標値をサブピクセル精度で検出するのである。

[0261] ここで、各パターン光のライン方向と交差する離散的な基準線の位置を CCD座標系において 255本設定すると、最大値 PNmaxが 8 (空間コードを 256有するため、境界は 255)である場合には、図 22における S4003 (コード境界抽出プログラム 404e の実行）により、最大約 6万 5千の空間コードの境界座標値が検出される。すなわち、空間コードのコード境界数 255は第 1境界位置インデックス Icodeで定義され、第 1境界位置インデックス Icode=0〜254が割り当てられる。また、第 1境界位置インデックス I code=0〜254ごとの各コード境界を構成する画素単位を第 2境界位置インデックス Ice dxと定義し、第 2境界位置インデックス Iccdx=0〜254が割り当てられる。したがって、空間コードのコード境界座標の数は、第丄境界位置インデックス数に第 2境界位置ィンデッタス数を積算した値であり、約 6万 5千となる。

[0262] 検出されたコード境界座標値はコード境界座標格納部 406eに格納される。このコード境界座標値は、 CCD70の結像面に設定された 2次元座標系である CCD座標系 ccdx— ccdyにおいて定義される。

[0263] その後、 S4007において、露出設定インデックス iEvNumが 1だけインクリメントされる。続いて、 S4002に戻り、露出設定インデックス iEvNumが「iEvNumMax」よりも小さいか否かが判定される。今回は、露出設定インデックス iEvNumが「iEvNumMax」以上であると仮定すれば、、その S4002の半 IJ定カ ^YESとなり、 S4003に移行する。

[0264] S4003¾V、し S4006の実行が露出設定インデックス iEvNumの数と同数回繰り返された結果、露出設定インデックス iEvNum値力 EvNumMax以上の値となると、 S4002 の判定が NOとなり、 S4008に移行する。

[0265] 以上で、このコード境界抽出プログラム 404eの一回の実行が終了する。

[0266] その後、図 24における S4008において、 CPU402によるコード境界の統合プログラム 404gの実行により、コード境界位置の統合処理が実施される。

[0267] ここで、図 24を参照することにより、図 22における S4008を詳述する。図 24には、その S4008がコード境界の統合サブルーチンとしてフローチャートで概念的に表されている。

[0268] まず、 S5100において、このコード境界の統合処理によって統合されるコード境界座標 (以下、「統合コード境界座標」とする。）を保存する領域 (以下、「統合コード境界座標格納領域」とする。）をコード境界座標格納部 406eに確保する。この統合コード境界座標格納領域は、図 26に示すように、各コード境界位置 (Icodejccdx)がそれぞれのコード境界位置毎に格納可能に構成されて、る。

[0269] 次に、 S5101において、第 1境界位置インデックス Icodeが「0」に設定されて初期化される。続いて、 S5102において、第 1境界位置インデックス Icodeが「IcodeMax」よりも小さくなつているかが判定される。今回は、第 1境界位置インデックス Icodeが「Icode Max」よりも小さい「0」であるので、その S5102の判定が YESとなり、 S5103において、第 2境界位置インデックス Iccdxが「0」に設定されて初期化される。すなわち、第 2境界位置インデックス Iccdxが「0」に設定される。このように設定される第 1境界位置インデッタス Icode及び第 2境界位置インデックス Iccdxはワーキングエリア 410に記憶される。後述する S5107や S5108においてインクリメントされた場合には、その都度ヮーキングエリア 410に記憶した第 1境界位置インデックス Icode及び第 2境界位置インデックス Iccdxが更新される。

[0270] その後、 S5104において、第 2境界位置インデックス Iccdxが「IccdxMax」よりも小さい値となっているかが判定される。今回は、第 2境界位置インデックス Iccdxが「IccdxM ax」よりも小さい「0」であるので、その S5104の判定が YESとなり、 S5105において、後述で詳説するコード境界の選択処理が行われる。コード境界の選択処理によって選択されたコード境界座標は、 S5106において、上述の統合コード境界座標格納領域に格納される。

[0271] その後、 S5107において、第 2境界位置インデックス Iccdxが 1だけインクリメントされる。続いて、 S5104に戻り、第 2境界位置インデックス Iccdxが「IccdxMax」よりも小さい値となっているか否かが判定される。今回は、第 2境界位置インデックス Iccdxが「Iccd xMax」よりも小さい値でないと仮定すれば、その S5104の判定が NOとなり、 S5108 に移行する。

[0272] S5108に移行すると、 S5108において、第 1境界位置インデックス Icodeが 1だけィンクリメントされる。続いて、 S5102に戻り、第 1境界位置インデックス Icodeが「IcodeM ax」よりも小さい値となっている力否かが判定される。今回は、第 1境界位置インデックス Icodeが「IcodeMax」よりも小さ、値でな!、と仮定すれば、その S5102の判定が NO となり、コード境界の統合処理を終了する。

[0273] ここで、図 25を参照することにより、図 24における S5105を詳述する。図 25には、その S1105がコード境界の選択プログラム 404hとしてフローチャートで概念的に表されている。

[0274] まず、 S5200において、露出設定インデックス iEvNum値を初期化する。すなわち、露出設定インデックス iEvNumを「0」に設定する。本フローチャートで処理中の露出設定インデックス iEvNumの直前で処理されたの露出設定インデックス iEvNum— 1を前回露出設定インデックス iEvNumBとし、この前回露出設定インデックス iEvNumBを「― 1」に設定する。

[0275] 次に、 S5201において、露出設定インデックス iEvNumが「iEvNumMax」よりも小さい値となっているか否かが判定される。今回は、露出設定インデックス iEvNumが「iEvNu mMax」よりも小さい「0」であるので、その S5201の判定が YESとなり、 S5202において露出設定インデックス iEvNumに対応する撮像条件のコード境界座標（ccdx、 ccdy) が取得される。ここで取得されるコード境界座標は、ワーキングエリア 410に記憶した第 1境界位置インデックス Icode及び第 2境界位置インデックス Iccdxから決定されるコード境界座標である。

[0276] 続いて、 S5203〖こて、取得したコード境界座標（ccdx、 ccdy)が不定であるか否かが判定される。ここで、コード境界座標（ccdx、 ccdy)が不定であるとは、 S4006のコード境界抽出処理にて、コード境界座標の検出ができな力つたことを意味する。

[0277] S5203〖こて、取得したコード境界座標（ccdx、 ccdy)が不定ではないと判定されると、その S5203の判定が NOとなり、 S5204において、取得したコード境界座標（ccdx 、 ccdy)付近の平均輝度値 (AveY)を取得する。ここで、コード境界座標（ccdx、 ccdy) 付近の平均輝度値 (AveY)とは、 S4004にて生成した最大輝度画像に基づき、この S5204において算出されるものである。たとえば、コード境界座標（ccdx、 ccdy)と、このコード境界座標（ccdx、 ccdy)の周囲の 8つの座標（ccdx- 1、 ccdy- 1) , (ccdx- 1、 cc dy) , (ccdx-l、 ccdy+1)， (ccdx、 ccdy- 1)， (ccdx-l、 ccdy+1)， (ccdx+K ccdy+1) , (c cdx+l、 ccdy+1) , (ccdx-l、 ccdy+1)にそれぞれ対応する輝度値を最大輝度画像から取り出し、これらの輝度値の平均を平均輝度値 (AveY)として取得する。

[0278] 次に、 S5205において、露出設定インデックス iEvNumが「iEvNumMax-l」となっているか否かが判定される。今回は、露出設定インデックス iEvNumが「0」であるので、その S5205の判定が NOとなり、 S5206において、さらに露出設定インデックス iEvN umが「0」となっているか否かが判定される。今回は、露出設定インデックス iEvNumが「0」であるので、その S5206の判定力YESとなり、 S5214において、平均輝度値 (A veY)が cMinl[0]以上かつ cMax[0]以下であるか否かが判定される。ここで、 cMinl[0] 以上かつ _CMax[0]以下とは、露出条件 [0]における有効輝度範囲である（図 19参照）

[0279] 平均輝度値 (AveY)が cMinl[0]以上かつ cMax[0]以下であるとき、 S5214の判定力 S YESとなり、後述する S5252の処理に移行する。これに対して、平均輝度値 (AveY) 力 ScMinl[0]以上かつ cMax[0]以下ではないとき、 S5214の判定力 SNOとなり、さらに、 S5215において、平均輝度値 (AveY)力 S_CMax[0]よりも大きいか否かが判定される。

[0280] 平均輝度値 (AveY)力 ¾Max[0]よりも大きいとき、 S5215の判定力 SYESとなり、後述する S5251の処理に移行する。これに対して、平均輝度値 (AveY)力 ¾Max[0]よりも大きくないとき、 S5215の判定力 NOとなり、 S5230にて、露出設定インデックス iEvN umを前回露出設定インデックス iEvNumB、平均輝度値 (AveY)を前回平均輝度値 (A veYB)、コード境界座標（ccdx、 ccdy)を前回コード境界座標（ccdxB、 ccdyB)としてそれぞれワーキングエリア 410に一時保存データとして記憶し、保存する。その後、 S5 231において、露出設定インデックス iEvNumを 1だけインクリメントして、 S5201力の処理を繰り返す。

[0281] また、 S5206において、露出設定インデックス iEvNumが「0」となっていないとすると、その S5206の判定が NOとなり、 S5207において、平均輝度値 (AveY)が cMinl[iE vNum]以上かつ cMaxDEvNum]以下であるか否かが判定される。今回、平均輝度値（ AveY)力 ScMinl[iEvNum]以上かつ cMaxDEvNum]以下であると仮定すると、その S520 7の判定が YESとなり、後述する S5252の処理に移行する。 [0282] これに対して、平均輝度値 (AveY)力 cMinl[iEvNum]以上かつ cMax[iEvNum]以下ではないとき、その S5207の判定が NOとなり、 S5216において、平均輝度値 (AveY )力 cMax[iEvNum]より大きいか否かが判定される。今回、平均輝度値 (AveY)が cMax [iEvNum]より大きくないと仮定すると、その S5216の判定が NOとなり、その後、上述の S5230及び S5231の処理力 S行われた後、 S5201力らの処理を繰り返す。一方、平均輝度値 (AveY)力 ScMax[iEvNum]より大きいとき、その S5216の判定が YESとなり、後述する S5212の処理に移行する。

[0283] また、 S5205にお!/、て、露出設定インデックス iEvNumが「iEvNumMax-l」となってヽると仮定すると、その S5205の半 IJ定カ ^YESとなり、 S5210にお!/、て、平均輝度値（ AveY)力 cMinO[iEvNum]以上かつ cMax[iEvNum]以下であるか否かが判定される。今回、平均輝度値（AveY)力 ¾MinO[iEvNum]以上かつ cMax[iEvNum]以下であると仮定すると、その S5210の半 IJ定カ ^YESとなり、後述の S5252に移行する。

[0284] S5210にお!/、て、平均輝度値 (AveY)力 ¾MinO[iEvNum]以上かつ cMax[iEvNum]以下ではなヽと仮定すると、 S5210の半 IJ定カ ^ΝΟとなり、さらに、 S5211にお!/ヽて、平均輝度値 (AveY)力 cMax[iEvNum]よりも大きぐかつ露出設定インデックス iEvNumが「0」でないか否かが判定される。今回、平均輝度値 (AveY)力 cMax[iEvNum]よりも大きぐかつ露出設定インデックス iEvNumが「0」であるとき、 S5211の判定力YESとなり、さらに、 S5212において、前回露出設定インデックス iEvNumB力「一 1」でないか否かが判定される。今回、前回露出設定インデックス iEvNumBが「ー1」でないと仮定すると、 S5212の半 IJ定カ ^YESとなり、さらに、 S5213において、前回平均輝度値 (Av eYB)力 cMinO[iEvNumB]以上かつ cMax[iEvNumB]以下であるか否かが判定される。

[0285] S5213において前回平均輝度値（AveYB)力 ScMinO[iEvNumB]以上かつ cMax[iEvN umB]以下であると仮定すると S5213の判定が YESとなり、後述する S5250の処理に移行する。これに対して、前回平均輝度値 (AveYB)力 cMinO[iEvNumB]以上かつ c MaxDEvNumB]以下ではないと仮定すると S5213の判定が NOとなり、後述する S52 51の処理に移行する。

[0286] また、 S5211にお!/、て、平均輝度値 (AveY)力 cMax[iEvNum]よりも大きくな!/ヽ、或 Vヽは露出設定インデックス iEvNumが「0」であると仮定すると S 5211の判定が NOとなり、後述する S5251の処理に移行する。また、 S5212において、前回露出設定インデッタス iEvNumBが「一 1」であると仮定すると S5212の判定が NOとなり、後述する S 5251の処理に移行する。

[0287] S5203において、コード境界座標（ccdx、 ccdy)が不定であると判定されると、その S5203の判定力YESとなり、さらに、 S5220において、露出設定インデックス iEvNu mが「iEvNumMax-l」となっているか否かが判定される。今回、露出設定インデックス i EvNumが「iEvNumMax- 1」となっていると仮定すると、 S5220の判定力 SYESとなり、さらに、 S5221において、前回露出設定インデックス iEvNumB力 S「一 1」となっている力否かが判定される。

[0288] また、 S5220にお!/、て、露出設定インデックス iEvNumが「iEvNumMax-l」となっていないと仮定すると、 S5220の判定力 NOとなり、上述の S5231の処理が行われて、 S5201からの処理が繰り返される。

[0289] また、 S5221において、前回露出設定インデックス iEvNumB力「一 1」となっていないと仮定すると、その S5221の判定力 SYESとなり、後述する S5250の処理に移行する。これに対して、前回露出設定インデックス iEvNumBが「― 1」となっていると仮定すると、その S5221の判定が NOとなり、後述する S5251の処理に移行する。

[0290] このコード境界の選択処理は、次の S5250〜S5252のいずれ力の処理を行ってから終了する。

[0291] S5250においては、前回コード境界座標（ccdxB、 ccdyB)をコード境界位置（Icode, Iccdx)の確定データとして決定し、コード境界座標格納部 406eの統合コード境界座標格納領域に格納する。すなわち、前回平均輝度値 AveB力 ^MinODEvNumB]以上かつ cMaxDEvNumB]以下であるときには、前回のコード境界座標（ccdxB、 ccdyB)をコード境界位置（Icodejccdx)の確定データとして決定する。

[0292] S5251においては、コード境界位置（Icode,Iccdx)を不定として、コード境界座標格納部 406eの統合コード境界座標格納領域に格納する。

[0293] S5252においては、コード境界座標（ccdx、 ccdy)をコード境界位置（Icode,Iccdx) の確定データとして決定し、コード境界座標格納部 406eの統合コード境界座標格納領域に格納する。 [0294] 以上のように、コード境界の選択処理は、複数の露出条件におけるコード境界位置 (Icode.lccdx)の中から一つのコード境界位置（Icode,Iccdx)を選択する処理を、コード境界位置（Icode,Iccdx)ごとに行い、複数の露出条件のコード境界を一つのコード境界に統合するものである。より具体的には、コード境界位置 (Icodejccdx)ごとに、最低露出条件 [0]のコード境界座標力最高露出条件 [iEvNumMax-1]のコード境界座標にかけて、順次コード境界座標に対応する輝度値が有効輝度範囲に入ってヽるかを判定していき、有効輝度範囲に入る最初の露出条件のコード境界座標を選択するようにしている。そのためコード境界位置 (Icodejccdx)ごとに、適切な露出条件での撮像画像を用いたコード境界位置の検出が可能となるのである。

[0295] なお、本実施形態においては、有効輝度範囲に入る最初の露出条件のコード境界座標を選択するようにしたが、有効輝度範囲に入る露出条件のコード境界座標のうち、コード境界座標に対応する輝度値がそれぞれの有効輝度範囲の中心に最も近い露出条件のコード境界座標を選択するようにしてもよい。このようにすれば、さらに適切な露出条件での撮像画像を用いたコード境界位置の検出が可能となる。

[0296] 続いて、 S4009において、レンズ収差補正プログラム 404iの実行により、レンズ収差補正処理が実施される。このレンズ収差補正処理は、撮像光学系 30に入射した光束の実際の結像位置であってその撮像光学系 30の収差の影響を受けたものを、その撮像光学系 30が理想レンズであったならば結像されるはずである理想結像位置に近づくように補正する処理である。

[0297] このレンズ収差補正処理により、 S4008において統合されたコード境界座標値が、撮像光学系 30の歪みなどに起因した誤差が除去されるように補正される。そのようにして補正されたコード境界座標は収差補正座標格納部 406gに格納される。

[0298] その後、 S4010において、三角測量演算プログラム 404jの実行により、三角測量の原理による実空間変換処理が実施される。この実空間変換処理が実施されれば、三角測量の原理により、前述の、 CCD座標系 ccdx— ccdy上のコード境界座標値であって収差補正が施されたものが、実空間に設定された 3次元座標系である実空間座標系 X— Y— Z上の 3次元座標値に変換され、その結果、 3次元色形状検出結果としての 3次元座標値が取得される。その取得された 3次元座標値は、対応する部分画像の回転位相 PHに関連付けて、 3次元座標格納部 406hに格納される。

[0299] この S4010においては、被写体 Sの 3次元形状を複数個の 3次元頂点の集まりとして空間離散的に計測するために、 2次元的なコード画像が、各パターン光のライン方向と交差する離散的な複数本の基準線に関して空間離散的に参照される。これにより、そのコード画像の外周境界上の複数個の離散点にそれぞれ対応する複数個の ₃ 次元頂点が取得されるのみならず、そのコード画像の内部の複数個の離散点（S40 03において検出されたコードの境界座標点）にそれぞれ対応する複数個の 3次元頂点が取得される。

[0300] ここで、図 27を参照することにより、図 15における S1230を詳述する。図 27には、その S1230が 3次元色形状検出結果生成サブルーチンとして概念的にフローチヤートで表されている。

[0301] この 3次元色形状検出結果生成サブルーチンにおいては、まず、 S5501において、 3次元座標格納部 406hから、回転位相 PHOないし 3のそれぞれに関連付けて、複数個の 3次元座標値がロードされる。本実施形態においては、被写体 Sの外面全体力つの部分面 (正面、右側面、左側面および背面）に分割され、各部分面ごとに 3 次元形状情報が生成される。この S5501においては、それら 4つの部分面のすべてにつヽて、各部分面に属する複数個の 3次元座標値が 3次元座標格納部 406hからロードされる。

[0302] 次に、 S5502において、それらロードされた複数個の 3次元座標値 (頂点座標値）に対し、各 3次元座標値が属する各部分面の回転位相 PHに応じた回転変換が行われ、それにより、 4つの部分面に属する複数個の 3次元座標値力各部分面の回転位相 PHを見込んで組み合わされる。その結果、複数個の 3次元座標値によって 3次元的に表現される 4つの部分面が一体ィ匕されて、被写体 Sの外面全体を現す 3次元形状情報が合成される。ただし、この段階においては、その 3次元形状情報に、測定ヘッド MHの分割撮像手法に起因して空間的にオーバラップする部分が存在する。

[0303] 続いて、 S5503において、その生成された合成画像において空間的にオーバラップする部分が抽出される。さらに、その合成画像の長さ方向における各領域においてオーバラップする 2つの部分が、それら 2部分に属する複数個の 3次元座標値の平均化等の手法により、 1つの部分に結合 (ステッチ）される。その結果、 3次元形状情報において空間的なオーバラップが除去され、それにより、 3次元ステッチ形状が完成する。その 3次元ステッチ形状を表すデータが 3次元ステッチ形状格納部 406sに格納される。

[0304] その後、 S6001において、前述の実空間 3次元座標系に座標変換された 3次元頂点群の各実座標空間座標値に対応する RGB値 (R輝度値、 G輝度値および B輝度値）が前述の表面色画像から抽出される。

[0305] 実空間座標系と、表面色画像を定義する平面座標系との関係は、前述の三角測量計算によって幾何学的に互いに対応付けられている。すなわち、コード画像、すなわち、被写体 Sの 3次元形状を計測するための 2次元画像である形状画像を定義する平面座標系を実空間 3次元座標系に計算によってマッピングさせるために用いられる変換の逆変換を用いることにより、実空間 3次元座標系を、表面色画像を定義する平面座標系に計算によってマッピングさせることが可能なのである。したがって、この S6001においては、 2次元的な表面色画像から、各 3次元頂点ごとに、それに対応する表面色値すなわち RGB値を抽出することが可能である。各 3次元頂点ごとに対応する表面色値および、各 3次元頂点の間の 3次元空間位置に対応する表面色値を抽出し、新たに画像平面上に再配置する。再配置により生成された画像をステッチテクスチャ画像としてステッチテクスチャ画像格納部 406tに格納する。

[0306] 以上で、この 3次元色形状検出結果生成サブルーチンの一回の実行が終了し、それに伴い、図 27に示す 3次元色形状検出処理ルーチンの一回の実行が終了する。

[0307] ところで、 S2005におけるパターン光有画像撮像処理にお!、ては、露出別パラメ一タテーブル格納部 406wに格納された全ての露出時間パラメータに対して撮像処理を行った力露出別パラメータテーブル格納部 406wに格納された露出時間パラメ一タのうち一部を使用するようにして、撮像処理の時間を短縮するようにもできる。

[0308] たとえば、 S1004において撮像部 14での自動露出 (AE)機能の実行 (露出決定手段）により、選択された露出条件 [iEvNum]に近い 3つの露出条件 [iEvNum-1], [iEvNu m], [iEvNum+1]の露出時間パラメータを露出別パラメータテーブル格納部 406wから取り出し、 S2023の撮像処理を行うようにするのである。すなわち、自動露出機能によって最も適切と判定された露出時間パラメータと、その露出時間が近い前後の露出時間パラメータとにより撮像するのである。このようにすることによって、自動露出機能によって決定される 1つの露出条件では、被写体 sの輝度分布に充分に対応できない場合であっても、その前後の露出条件での撮像画像を用いることで、被写体 Sの輝度分布に対するカバー範囲を的確に広げることができる。

[0309] また、被写体 Sを撮像するための露出条件が多数ある場合においても、全ての露出条件で輝度画像の生成、コード画像の生成及びコード境界の抽出を行うことがなヽため、それらの演算処理の負荷が軽減され、し力も、 3次元形状の検出時間も必要以上にかかることがない。

[0310] なお、自動露出 (AE)機能の実行は、 S1004において行うのではなぐパターン光有画像撮像処理で行うようにしてもよい。また、この自動露出 (AE)機能は、撮像部 1 4における撮像領域の輝度を検出し、当該輝度に基づいて露出条件を決定するものである。

[0311] また、上述では複数の露出条件のうち一部を用いる例として、 3つの露出条件の例について説明した力 Sこれに限られず、 2つであってもよぐ 4以上であってもよい。また、この露出条件の数は、設定により変更することができるようにしてもよい。

[0312] 以上、本発明の実施の形態のうちのいくつかを図面に基づいて詳細に説明したが、これらは例示であり、前記 [発明の開示]の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

[0313] たとえば、本実施形態においては、空間コード法におけるパターン光での 3次元形状検出について説明した力その他のパターン光による 3次元形状検出であってもよい。たとえば、単純な平行線 (スリット状)パターン光を用いた光切断法や、何らかの規則性を持たせたスポット光群、明暗をメッシュ状に配したパターン光等を用いた 3次元形状検出にも適用可能である。

Claims

請求の範囲

[1] 明と暗とを交互に並べてなるパターン光を被写体に投影して撮像した画像情報を基に、その撮像領域内にある被写体の 3次元形状を検出する 3次元形状検出装置であって、

前記パターン光の各々を被写体に投影する投影部と、

前記投影部力前記パターン光が投影されている状態の被写体を複数の異なる露出条件で撮像する撮像部と、

前記各露出条件毎に、前記撮像部で撮像した撮像画像からパターン光の軌跡を抽出するパターン光軌跡抽出手段と、

前記パターン光軌跡抽出手段によって抽出された各露出条件毎のパターン軌跡位置に基づいて、前記被写体の 3次元形状を算出するための一つのパターン軌跡位置を決定するパターン軌跡統合手段と、

前記パターン軌跡統合手段によって決定されたパターン軌跡位置に基づいて被写体の 3次元形状を算出する 3次元形状算出手段と、

を備えた 3次元形状検出装置。

[2] 前記パターン光は、明と暗とを交互に並べてなる複数種類のパターン光であり、前記投影部は、

複数種類の前記パターン光の各々を時系列に被写体に投影し、

前記撮像部は、

前記投影部から前記各パターン光が投影されている状態の被写体を複数の異なる露出条件で撮像し、

前記パターン光軌跡抽出手段は、

前記各露出条件毎に、前記撮像部によって撮像される各撮像画像力各画素の輝度を算出した複数の輝度画像を生成する輝度画像生成手段と、

前記複数の輝度画像に対して所定の閾値による閾値処理を行って各画素毎に前記空間コードを割り当てた、前記各露出条件毎のコード画像を生成するコード画像生成手段と、

前記空間コードのコード境界位置を前記コード画像から抽出する処理を前記各露出条件の前記コード画像それぞれに対して行うコード境界抽出手段と、を有し、前記パターン軌跡統合手段は、

前記コード境界抽出手段によって抽出された各露出条件毎のコード境界位置に基づいて、前記被写体の 3次元形状を算出するための一つのコード境界位置を決定するコード境界統合手段を有し、

前記 3次元形状算出手段は、

前記コード境界統合手段によって決定されたコード境界位置に基づいて被写体の 3次元形状を算出すること

を特徴とする請求項 1に記載の 3次元形状検出装置。

[3] 異なる複数の露出条件の情報を格納する露出条件情報格納部と、

前記撮像部における撮像領域の輝度を検出し、当該輝度に基づいて、前記設定情報格納部から一の露出条件を決定する露出決定手段と、を備え、

前記複数露出撮像処理手段は、

前記露出決定手段によって決定した露出条件と、当該決定した露出条件と露出度合!、が近!、前後の露出条件とからなる複数の露出条件を、前記複数の異なる露出条件とする

ことを特徴とする請求項 2に記載の 3次元形状検出装置。

[4] 前記コード境界統合手段は、

前記各露出条件における前記コード境界位置の各座標毎に、当該各座標に対応する画素の輝度の検出を行い、当該輝度が前記露出条件における有効輝度範囲内となるか否かを判定し、当該有効輝度範囲内であると判定した画素に対応する前記コード境界位置の座標を用いて、前記被写体の 3次元形状を算出するための一つのコード境界位置を決定することを特徴とする請求項 2に記載の 3次元形状検出装置。

[5] 前記コード境界統合手段は、

前記各座標に対応する画素の輝度を、当該画素とその周囲の画素との平均輝度としたことを特徴とする請求項 4に記載の 3次元形状検出装置。

[6] 前記各露出条件毎に、前記撮像部によって撮像される各撮像画像力各画素の最大輝度値を検出して最大輝度画像を生成する最大輝度画像生成手段を備え、前記各座標に対応する画素の輝度の検出を前記最大輝度画像を用いて行うことを特徴とする請求項 4に記載の 3次元形状検出装置。

[7] 前記露出条件は露光時間である

ことを特徴とする請求項 1に記載の 3次元形状検出装置。

[8] 明と暗とを交互に並べてなるパターン光を被写体に投影して撮像した画像情報を基に、その撮像領域内にある被写体の 3次元形状を検出する 3次元形状検出方法であって、

前記パターン光を被写体に投影部により投影するステップと、

前記投影部から前記各パターン光が投影されている状態の被写体を、撮像部により複数の異なる露出条件で撮像するステップと、

前記各露出条件毎に、前記撮像部で撮像した撮像画像からパターン光の軌跡を抽出するステップと、

前記抽出された各露出条件毎のパターン軌跡位置に基づいて、前記被写体の 3次元形状を算出するための一つのパターン軌跡位置を決定するステップと、

前記決定されたパターン軌跡位置に基づいて被写体の 3次元形状を算出するステップと、

を有する 3次元形状検出方法。