WO2006054425A1

WO2006054425A1 - 三次元計測装置および三次元計測方法並びに三次元計測プログラム

Info

Publication number: WO2006054425A1
Application number: PCT/JP2005/019511
Authority: WO
Inventors: Cunwei Lu
Original assignee: School Juridical Person Of Fukuoka Kogyo Daigaku
Priority date: 2004-11-19
Filing date: 2005-10-24
Publication date: 2006-05-26
Also published as: JP2006145405A; CN101061367A; US7583391B2; CN101061367B; JP4883517B2; US20080130015A1

Abstract

　一回の投影で多くのパターン光情報を得ることができ、高速かつ高精度の三次元情報を得ることができる三次元計測装置および三次元計測方法ならびに三次元計測プログラムを提供する。本発明の三次元計測装置は、計測対象物Ａにパターン光を投影する投影手段としてのパターン投影機（１）と、パターン光が投影された計測対象物（Ａ）を撮像して画像を撮像する撮像手段としてのカメラ（２）と、このカメラ（２）により撮像した画像のデータを処理するコンピュータ（３）とから構成される。コンピュータ（３）により、撮像された画像から検出された投影パターン光の強度値から投影パターン光を形成している個別パターン光の方向角が算出されるとともに強度分布が分割され、分割されたパターンの各計測点における位相値から奥行き距離が算出されるので、精度の高い三次元情報を得ることができる。

Description

明細書

三次元計測装置および三次元計測方法並びに三次元計測プログラム技術分野

[0001] 本発明は、物体に所定パターンの光を投影し非接触で三次元情報を計測する三次元計測装置、三次元計測方法および三次元計測プログラムに関する。

背景技術

[0002] 近年、医療や美容、衣服を初め靴、眼鏡、帽子など服飾の設計、また、ダイエット管理ゃ健康管理などの様々な分野においては、胴体のみならず顔や頭、手足などの人体全身の三次元形状データの取得が要求されており、非接触かつ高速な三次元形状計測装置の開発が期待されている。

[0003] 三次元計測の手法としては、計測対象物に計測の補助となる特定の光や電波等を照射することなく計測を行う受動型のものと、光、音波、電波などを計測対象物に照射し、その情報を利用して計測を行う能動型のものとに分けられる。

[0004] これまでに、レーザを用いたパターン光を計測対象物に投影して三次元計測を行う方法が多数提案されており実用化が図られている。しかしながら、レーザ光は人体に悪影響を及ぼす可能性があるため、これらの方法を人体に応用することは難しい。レ一ザ光の強度をできる限り小さくするなどの改良化がなされた三次元計測方法が、例えば特許文献 1などに記載されているが、レーザ光を弱くするとその分撮影時間を長くしなければならず、レーザ総光量は結果的に大きくなつてしまう。従って、レーザを使わない人体の三次元計測方法が確立されることが望まれる。

[0005] レーザ光を使わない能動型の三次元計測方法による人体形状計測装置の一例が非特許文献 1に記載されている。この人体形状計測装置では、時系列空間コードィ匕法を利用しており、ストライプ状の光シャツタ列によって作られた 7種のコードィ匕パターン光 (グレイコードパターン)を計測対象物に投影し、工学的に物体を分割して三角測量の原理で計測対象物の座標値を算出する。

[0006] しかしながら、非特許文献 1に記載の人体形状計測装置では、 1回の計測で複数回の投影が必要となる。従って、高精度の計測を行うには力なりの投影回数が必要となる。例えば、非特許文献 1の人体形状計測装置に用いられている時系列空間コード化法では、 1%の奥行き方向計測精度を向上させるために、少なくとも 7回の投影が必要となる。人体計測においては、被験者に計測の最中に長時間の静止状態を維持してもらうことは難しぐできる限り投影回数を減らして三次元計測にかかる時間を短くすることが望まれる。

[0007] そこで、上記の問題を解決するために、白黒投影カラー解析手法による三次元計測方法が本発明者らによって考案されている (非特許文献 2参照。 ) ₀この白黒投影カラー解析手法では、まず、計測対象物に対して白黒系のパターン光を投影する。そして、その反射光強度情報をより多く得るために、デジタル式カメラを用いて投影（観測)されたパターンの光を撮影する。得られたカラー投影パターン光画像の各画素の色チャンネルを解析し、最も強、反射の得られた色チャンネルを該当画素の計測チャンネルとして、強度分布の大きい計算用画像を合成する。この計算用画像から検出された投影パターン光を形成する一つ一つの個別パターン (縞)の強度分布から投影パターン光の方向角を求めて、計測対象物の三次元情報を算出する。

[0008] 特許文献 1 :特開 2003— 11430号公報

非特許文献 1 :柴田進、山内航一郎、西尾裕志、二川貴志、佐藤幸男，第 10回画像センシングシンポジウム講演論文集，画像センシング技術研究会， 2004年 6月 9 曰， p. 253- 258

非特許文献 2 :長元気、盧存偉， " MPCAと OIMP技術の融合によるパターン光投影 3次元画像計測の効率向上"，第 10回画像センシングシンポジウム講演論文集 ,画像センシング技術研究会， 2004年 6月 9日， p. 53- 58

発明の開示

発明が解決しょうとする課題

[0009] 非特許文献 2の白黒投影カラー解析手法は、一回の投影で多くの個別パターン光を持つパターン光を検出することができるため、時系列空間コード化法よりも短時間で精度のよい三次元計測が可能となる。しかしながら、非特許文献 2の白黒投影カラ一解析手法では、計算用画像における投影パターン光の強度分布において、個別ノターン光の極大値となる計測点の三次元情報しか求めることができないため、個別ノターン光と隣接する個別パターン光の間の情報が失われた三次元情報となってしまう。

[0010] そこで、本発明は、一回の投影で多くのノターン光情報を得ることができ、高速かつ高精度の三次元情報を得ることができる三次元計測装置および三次元計測方法並びに三次元計測プログラムを提供することを目的とする。

課題を解決するための手段

[0011] 本発明の三次元計測装置は、計測対象物に投影する光のパターンを形成するパターン形成手段と、計測対象物にパターン形成手段により形成されたパターンの光（以下、「パターン光」と称す。）を投影する投影手段と、パターン光が投影された計測対象物を撮像して画像を取得する撮像手段と、画像から投影されたパターン光 (以下、「投影パターン光」と称す。）を検出する投影パターン光検出手段と、投影パターン光と元のパターン光とを比較して投影パターン光の方向角を算出する方向角算出手段と、投影パターン光を周期ごとに分割する分割手段と、分割された投影パターン光力計測点の位相値を算出する位相値算出手段と、算出された位相値より計測点の奥行き距離を算出する距離算出手段と、算出された計測点の奥行き距離を用いて計測対象物の三次元情報を算出する三次元情報算出手段とを備えることを特徴とする。

[0012] 本発明の三次元計測装置によれば、パターン形成手段によって形成されたパターンの光が投影手段により計測対象物に投影され、このパターン光が投影された計測対象物の画像が撮像手段により撮像され、この撮像された画像カゝら投影パターン光検出手段によって投影パターン光が検出されるので、一回の投影で多くの個別バタ一ン光を持つ投影パターン光を検出することができる。つまり、一回の投影で多くの投影パターン光情報を得ることができる。また、方向角算出手段により投影パターン光の各個別パターン光の方向角が算出されるとともに分割手段によって投影パターン光が周期ごとに分割され、分割された投影パターン光である個別パターン光の各計測点における位相値が位相値算出手段によって算出される。そして、算出された各計測点の位相値が各計測点の奥行き距離に変換して算出されるので、投影バターン光の各個別パターン光のうち強度分布が極大値となる計測点 1箇所だけでなぐ個別パターン光の各計測点の三次元情報を得ることができ、精度の高!、三次元情報とすることができる。なお、パターン光および投影パターン光は、一つ一つの個別パターン光の集合体である。

[0013] また、本発明の三次元計測方法は、計測対象物に投影する光パターンを形成するノターン形成ステップと、投影手段によりパターン形成ステップで形成されたパターンの光を計測対象物に投影するパターン光投影ステップと、撮像手段によりパターン光が投影された計測対象物を撮像して画像を取得する撮像ステップと、画像力ゝら投影されたパターン光を検出する投影パターン光検出ステップと、投影パターン光と元のパターン光と比較して投影パターン光の方向角を算出する方向角算出ステップと、投影パターン光を周期ごとに分割する分割ステップと、分割された投影パターン光から計測点の位相値を算出する位相値算出ステップと、算出された位相値より計測点の奥行き距離を算出する距離算出ステップと、算出された計測点の奥行き距離を用いて計測対象物の三次元情報を算出する三次元情報算出ステップとを含むことを特徴とする。

[0014] さらに、本発明の三次元計測プログラムは、コンピュータを、計測対象物に投影する光のパターンを形成するパターン形成手段と、パターン形成手段により形成されたパターンの光が投影された計測対象物が撮像された画像から投影されたパターン光を検出する投影パターン光検出手段と、投影パターン光と元のパターン光とを比較して投影パターン光の方向角を算出する方向角算出手段と、投影パターン光を周期ごとに分割する分割手段と、分割された投影パターン光力ゝら計測点の位相値を算出する位相値算出手段と、算出された位相値より計測点の奥行き距離を算出する距離算出手段と、算出された計測点の奥行き距離を用いて計測対象物の三次元情報を算出する三次元情報算出手段として機能させることを特徴とする。

[0015] 本発明の三次元計測方法および三次元計測プログラムによれば、上記本発明の三次元計測装置と同様の作用効果を得ることができる。

[0016] 本発明の三次元計測装置のノターン形成手段は、パターン光の強度分布を最適化して最適強度組み合わせパターンを形成するものである方が望まし、。最適バターン形成手段がパターン光の強度分布を最適化して最適強度組み合わせパターンを形成することによって、注目する個別パターンとこれに隣接する個別パターンの各極大値の強度差を最大にする強度分布の大きい最適強度組み合わせパターンが作成される。この最適強度組み合わせパターンの光を計測対象物に投影すると、撮像手段により撮像された計測対象物の画像カゝら得られる投影パターン光においても、注目する個別パターン光とこれに隣接する個別パターン光の各極大値の強度差が最大となる。従って、投影パターン光の各個別パターン光の方向角の算出精度を向上させることができるとともに、投影パターン光の周期ごとの分割も精度よく行うことができ、三次元計測の精度をさらに向上させることができる。

[0017] また、本発明の三次元計測装置は、投影パターン光検出手段により検出された投影パターン光の強度値を補正する強度値補正手段を備えることが望まヽ。強度値補正手段によって、投影パターン光検出手段により検出された投影パターン光の強度値が補正されるので、色分布や表面反射特性が明確でない計測対象物に対しても高精度な三次元計測を行うことができる。つまり、ほぼ均一の色分布を持つ人体などだけでなぐ様々な色で着色されているような物体であっても短時間で高精度の三次元計測を行うことができる。

[0018] また、本発明の三次元計測装置は、撮像手段により取得された画像内の計測対象物の位置を補正する位置補正手段を備えることが望ましい。位置補正手段によって、撮像手段により取得された画像内の計測対象物の位置が補正されるので、静止物体ではない計測対象物に対しても高精度な三次元計測を行うことができる。つまり、計測中に完全に静止することは難、人や動物などに対して短時間で高精度の三次元計測を行うことができる。

[0019] また、本発明の三次元計測装置の三次元情報算出手段は、計測対象物の空間座標、距離、角度、面積または体積を算出するものであることが望ましい。三次元情報算出手段が、計測対象物の空間座標、距離、角度、面積または体積を算出するので、本発明の三次元計測装置を用いることによって、計測対象物の様々な情報を得ることができる。

[0020] さらに、本発明の三次元計測装置で用いられるパターンは縞状に形成されたものであることが望ましい。ノターンが縞状に形成されているので、このパターン光を投影して得られた解析に用いる投影パターン光の強度分布をサイン波として容易に解析することができる。また、この場合、個別パターン光はパターン光および投影パターン光を形成してヽる一つ一つの縞を示す。

発明の効果

[0021] (1)パターン形成手段によって形成されたパターン光が計測対象物に投影手段により投影され、ノターン光が投影された計測対象物の画像が撮像手段により撮像され、この画像力投影パターン光検出手段によって投影パターン光が検出されるので、一回の投影で多くの投影パターン光情報を得ることができる。また、方向角算出手段により投影パターン光の各個別パターン光の方向角が算出されるとともに分割手段によって投影パターン光が周期ごとに分割され、分割された投影パターン光である個別パターン光の各計測点における位相値が位相値算出手段によって算出され、この算出された各計測点の位相値が各計測点の奥行き距離に変換されるので、投影パターン光の各個別パターン光の強度分布が極大値となる計測点 1箇所だけでなぐ個別パターン光の各計測点の三次元情報を得ることができ、精度の高!、三次元情報とすることができる。

[0022] (2)最適パターン形成手段により作成された最適強度組み合わせパターンは、注目する個別パターンとこれに隣接する個別パターンの各極大値の強度差を最大とする強度分布の大き、パターン光となって、るので、この最適強度組み合わせパターンの光を計測対象物に投影すると、撮像手段により撮像された計測対象物の画像から得られる投影パターン光においても、注目する個別パターン光とこれに隣接する個別パターン光の各極大値の強度差が最大となり、個別パターン光の方向角の算出精度を向上させることができるとともに、投影パターン光の周期ごとの分割も精度よく行うことができる。従って、三次元計測の精度をさらに向上させることができる。

[0023] (3)強度値補正手段によって、投影パターン光検出手段により検出された投影バターン光の強度値が補正されるので、色分布や表面反射特性が明確でな、計測対象物についても短時間で高精度な三次元計測を行うことができる。

[0024] (4)位置補正手段によって、撮像手段により取得された画像内の計測対象物の位置が補正されるので、静止物体ではない計測対象物に対しても短時間で高精度な三次元計測を行うことができる。

[0025] (5)三次元情報算出手段が、計測対象物の空間座標、距離、角度、面積または体積を算出するので、計測対象物の様々な情報を得ることができる。

[0026] (6)本発明の三次元計測装置に用いられるパターンが縞状に形成されたものであるので、解析に用いる投影パターン光の強度分布をサイン波として容易に解析することができる。

図面の簡単な説明

[0027] [図 1]本実施形態における三次元計測装置の全体構成を示す図である。

[図 2]本実施形態における三次元計測装置の詳細な構成を示すブロック図である。

[図 3]本実施形態の三次元計測装置の幾何関係を示す図である。

[図 4]本実施形態の三次元計測装置を用いた三次元計測の流れを示す図である。

[図 5A]最適強度組み合わせパターン光のパターンの一例を示す図である。

[図 5B]図 5Aのパターン光強度の空間分布を示す図である。

[図 6]投影パターン光の強度分布を示す図である。

[図 7]本発明の他の実施形態を示す図である。

[図 8]本発明の他の実施形態を示す図である。

[図 9A]初期パターン光を投影した画像である。

[図 9B]最適強度組み合わせパターンを示す図である。

[図 9C]最適強度組み合わせパターン光を投影した画像である。

[図 9D]強度値補正を行った画像である。

[図 9E]奥行き距離を算出した結果を示す画像である。

[図 9F]三次元情報をグラフィック表現した画像である。

符号の説明

[0028] 1 パターン投影機

2, 2a, 2b, 2c カメラ

3 コンピュータ

4 伝送ケープノレ

10 記憶手段 11 初期パターン形成手段

12 最適パターン形成手段

13 抽出手段

14 投影パターン光検出手段

15 補正手段

16 方向角算出手段

17 分割手段

18 位相値算出手段

19 距離算出手段

20 三次元情報算出手段

21 出力手段

発明を実施するための最良の形態

[0029] 以下、本発明の実施の形態における三次元計測装置を、図を用いて説明する。図 1は本実施形態における三次元計測装置の全体構成を示す図である。図 2は図 1の三次元計測装置の詳細な構成を示すブロック図である。

[0030] 図 1に示すように、本実施形態の三次元計測装置は、計測対象物 Aにパターン光を投影する投影手段としてのパターン投影機 1と、パターン光が投影された計測対象物 Aを撮像して画像を撮像する撮像手段としてのカメラ 2と、このカメラ 2により撮像した画像のデータを処理するコンピュータ 3とから構成される。パターン投影機 1とコンピュータ 3、カメラ 2とコンピュータ 3は、各データを伝送することができる伝送ケーブル 4によって接続されている。

[0031] パターン投影機 1は、コンピュータ 3により形成されたパターンデータをパターン光に変換し、計測対象物 Aに投影する装置として機能する。例えば、液晶プロジェクタや DLP (デジタルライトプロセッシング、商標)プロジェクタなど市販の簡単な装置を用いることができる。カメラ 2はデジタル式カメラである。なお、カメラ 2はデジタル式力メラであれば 8ビット、 12ビットのものや、 3CCD、 1CCD等のどのようなものでもよい。

[0032] コンピュータ 3は、図示しない三次元計測プログラムの実行により、図 2に示すように、カメラ 2から伝送された画像のデータや後述する各手段により算出された結果を記憶する記憶手段 10と、記憶手段 10から画像を取得して計測対象物 Aを抽出する抽出手段 13と、記憶手段 10から画像を取得して投影パターン光を検出する投影バターン光検出手段 14と、抽出手段 13により画像力も抽出された計測対象物 Aの位置や、投影パターン光検出手段 14により検出された投影パターン光の強度値を補正する位置補正手段および強度値補正手段としての補正手段 15と、投影したパターン光と補正手段 15により強度値が補正された投影パターン光とを比較して、投影バターン光の各個別パターン光の方向角を算出する方向角算出手段 16と、投影パターン光を周期ごとに分割する分割手段 17と、分割手段 17により分割された投影パターン光である個別パターン光力各計測点における位相値を算出する位相値算出手段 18と、位相値算出手段 18により算出された位相値より計測点の奥行き距離を算出する距離算出手段 19と、距離算出手段 19により算出された計測点の奥行き距離から計測対象物 Aの三次元情報を算出する三次元情報算出手段 20と、三次元情報算出手段 20により算出された三次元情報を出力する出力手段 21として機能する。

[0033] また、コンピュータ 3は、前述の三次元計測プログラムの実行により、初期パターン形成手段 11と、計測対象物 Aに投影する光のパターンを形成するパターン形成手段として、パターン光の強度分布を最適化して最適強度組み合わせパターンを形成する最適パターン形成手段 12として機能する。

[0034] 初期パターン形成手段 11および最適パターン形成手段 12は形成した初期パターンを記憶手段 10に記憶する。また、抽出手段 13、投影パターン光検出手段 14、補正手段 15、方向角算出手段 16、分割手段 17、位相値算出手段 18、距離算出手段 19、三次元情報算出手段 20は、必要な情報を記憶手段 10から取得するとともに、結果を記憶手段 10に記憶する。出力手段 21は記憶手段 10から取得した三次元情報を出力する。

[0035] 初期パターン形成手段 11は、縞がない強度均一の全面投影用のパターンを形成する。最適パターン形成手段 12は、注目する個別パターンとこれに隣接する個別パターンの各極大値の強度差を最大にすることによって投影するパターン光の強度分布を最適化して最適強度組み合わせパターンを形成する。

[0036] 抽出手段 13は、パターン光が投影された計測対象物 Aを撮像した画像を記憶手段 10から取得して、計測対象物 Aを抽出する。投影パターン光検出手段 14は、パターン光が投影された計測対象物 Aを撮像した画像を記憶手段 10から取得して、投影パターン光の強度分布を検出する。また、補正手段 15は、初期パターン光が投影された計測対象物 Aを撮像した画像と最適強度組み合わせパターン光が投影された計測対象物 Aの画像とを記憶手段 10から取得するとともに、これらの画像を比較して各画像間の計測対象物 Aの位置を補正する。さらに、補正手段 15は、最適パターン形成手段 12により形成された最適強度組み合わせパターン光を投影した計測対象物 Aの投影パターン光の強度分布と初期パターン形成手段 11により形成された均一強度の初期パターン光を投影した計測対象物 Aの投影パターン光の強度分布を用いて、投影パターン光の強度値を補正し、計測対象物の色分布情報を除いた強度分布とする。

[0037] 方向角算出手段 16は、計測対象物 Aに投影した最適強度組み合わせパターン光の各個別パターン強度分布の極大値と補正手段 15により強度値が補正された投影ノターン光の各個別パターン強度分布の極大値とを比較し、投影パターン光のうちの注目する個別パターン光が、最適強度組み合わせパターン光のうちの推定される個別パターン光であるかどうかの確信度を求めることによって各パターン光の方向角を算出する。

[0038] 分割手段 17は、投影パターン光の強度分布から得られる強度値の極大値および極小値により投影パターン光を周期ごとに分割する。また、位相値算出手段 18は、分割手段 17により分割された投影パターン光である個別パターン光の強度値を用いて計測点の位相値を算出する。さらに、距離算出手段 19は、位相値算出手段 18により算出された各計測点の位相値より各計測点の奥行き距離を算出する。

[0039] 三次元情報算出手段 20は、距離算出手段 19により算出された各計測点の奥行き距離から計測対象物 Aの三次元情報を算出する。この三次元情報には、計測対象物 Aの空間座標、距離、角度、面積、および体積などが含まれる。

[0040] 出力手段 21は、三次元情報算出手段 20により算出された計測対象物 Aの空間座標、距離、角度、面積または体積などをコンピュータ 3に接続されたディスプレイ上に表示したり、テキストファイルや図面ファイルとして印刷したりする。 [0041] 次に、本実施形態の三次元計測装置の計測の流れを図 3〜図 6に基づいて説明する。図 3は本実施形態の三次元計測装置の幾何関係を示す図である。図 4は本実施形態の三次元計測装置を用いた三次元計測の流れを示す図である。図 5Aは最適強度組み合わせパターン光のパターンの一例を示す図である。図 5Bは、図 5Aのノターン光強度の空間分布を示す図である。図 6は投影パターン光の強度分布を示す図である。

[0042] まず、図 3に示すような幾何関係になるように、パターン投影機 1とカメラ 2を一定の距離だけ離して配置する。

[0043] 投影するパターン光は三次元計測の計測速度および精度を左右する重要な役割を有す。本実施形態では縦縞状の白黒パターン光を用いる。ここで、縞の投影方向を表す方向角は等間隔に設定し、各方向角の位置を縞のアドレスと称する。本実施形態で用いるパターン光は N本の縞を持ち、各縞のアドレスは、それぞれ、 1, 2, 3, · · · · , Nとする。また、各縞の方向角はそれぞれ α , a , a , · · · , a とする。 i番目

1 2 3 N

の縞の強度値は i_;とする。

[0044] まず、コンピュータ 3の初期パターン形成手段 11により初期パターンを形成する。

形成された初期パターンは記憶手段 10に記憶されるとともに伝送ケーブル 4により初期パターンデータとしてパターン投影機 1に送られる。パターン投影機 1に送られた初期パターンデータは初期パターン光として計測対象物 Aに投影される。初期バタ一ン光は縞がない強度均一の全面投影パターンである。（ステップ S 101,以下、図 4 参照。）この初期パターン形成手段 11で形成されるパターンは、通常の画像撮影で用いられる強度均一の光パターンと同じものである。

[0045] ノターン投影機 1によって計測対象物 Aに投影された初期パターン光をカメラ 2により撮像する。撮像された画像は、伝送ケーブル 4を通じて、コンピュータ 3に送られ、記憶手段 10に記憶される（ステップ S102)。

[0046] 次に、抽出手段 13は、あら力じめ取得しておいた背景のみの画像と初期パターン光が投影された計測対象物 Aの画像とを用いて、背景差分法により計測対象物 Aを抽出する (ステップ S 103)。

[0047] 最適パターン形成手段 12は、投影パターンの強度分布を最適化して図 5Aおよび図 5Bに示すような最適強度組み合わせパターンを形成する (ステップ S 104)。

[0048] 最適強度組み合わせパターンを形成するためには、まず式（1)のような評価関数 d

(Ι , Ι , · ' · , Ι )

1 2 Νを定義する。

[数 1]

Ν Μ

(/い /₂，...，）= ∑ ∑ kj | /_; - · · · ( 1 )

ί= + 1 j=l

ただし、（I， I， · · ·， I )は投影光パターンの縞の強度分布、 kは重み係数である。ま

1 2 N j

た、 Nは投影するパターンにある縞の総本数であり、 Mは評価関数をカゝけるフィルタの幅である。

[0049] 最適パターン形成手段 12は、上記の評価関数 d (I , I , · · · , I )の値を最大にする

1 2 N

組み合わせを最適組み合わせとし、この組み合わせを用いたパターンを最適強度組み合わせパターンとする。この最適強度組み合わせパターンは、記憶手段 10に記憶されるとともに伝送ケーブル 4によりパターン投影機 1に伝送される。なお、最適組み合わせを求めることが困難な場合では、 d (l , I , · · · , I )の値を十分に大きくする組

1 2 N

み合わせである準最適組み合わせを用いても構わな!/、。本実施形態の最適パターン形成手段 12は、この準最適組み合わせを含むものとする。

[0050] パターン投影機 1によって計測対象物 Aに投影された最適強度組み合わせパターン光をカメラ 2により撮像する。撮像された画像は、伝送ケーブル 4を通じて、コンビュータ 3に送られ、記憶手段 10に記憶される（ステップ S105)。

[0051] ここで、補正手段 15は、初期パターン光が投影された計測対象物 Aの画像と、最適強度組み合わせパターン光が投影された計測対象物 Aの画像とを記憶手段 10から取得するとともにこれらの画像を比較し、最小二乗法を用いて計測対象物 Aの位置を補正する。（ステップ S 106)。

[0052] 次に、投影パターン光検出手段 14は、記憶手段 10に記憶された画像から図 6に示すような投影パターン光の強度分布を検出する (ステップ S107)。

[0053] ここで、補正手段 15は、検出された投影パターン光の強度値を以下の式（2)により補正する（ステップ S 108)。

[数 2] ゾ) ^ )… (₂) ここで、 (i, j)は計測点の座標、 I'は最適強度組み合わせパターン光を投影した計測対象物 Aの投影パターン光の補正後の強度値、 Iは最適強度組み合わせパターン

1

光を投影した計測対象物 Aの投影パターン光の強度値、 Iは初期パターン光を投影

0

した計測対象物 Aの投影パターン光の強度値である。 M(n)は投影パターン光の強度変調関数、 nはパターン光の縞次数、 O (x、 y)は物体の表面反射率、 k' , kは調節係数である。また、 P

0は初期パターン光の強度値である。

[0054] 観測された n本 (n≤N)の縞の強度分布を = (ム，/₂，· · - _N)

とし、そのアドレスを S =(0 , Ο , ···, Ο )とする。方向角算出手段 15は、各縞の

1 2 Ν

方向角の位置である各縞のアドレス Ο ( 1≤ i≤ η)を下記のように計算する（ステップ S 108)。

[0055] Step 1：各縞のアドレス O (1≤i≤n)を計算するために、まず、最適強度組み合わせパターン光を投影した計測対象物 Aの投影パターン光のうち注目する縞の強度

I、

と最適強度組み合わせパターン光の強度 I

J 0 = 1, 2, ···, N)を比較し、式（3)を満たす jを注目する縞の候補アドレスとして抽出し、その集合を Gとする。

[数 3]

I — Iく j = \,2Χ，Ν · · · (3) ここで、 Aは定数であり、本実施形態では縞間強度差の最小値の 2〜5倍の値を取つている。

[0056] Step2:次に、式 (4)を用いて i番目の注目する縞のアドレスが k(kEG)である確率 L(k)を計算する。

画

Li(k) = l-< し - · , (4)

ここで、 w , w , wは定数、また N≤M, N≤M, S = |I -I |である。

1 2 3 1 2 max min

[0057] Step 3：次に、式（5) ,式（6)を用いて i番目の縞のアドレスを求める。

[数 5]

L_i(t) = max {L^k)} ' · · (5)

[数 6]

O_t = t, when Ι^(ή>Β · - - (6) ここで、 Βは定数である。

[0058] Step4：最適強度組み合わせパターン光を投影した計測対象物 Aの投影バタ光のうち注目する縞の強度

I、

と最適強度組み合わせパターン光の強度 Iとの差が閾値 cより大きい場合

、もしくは計算された確率 L (t)が小さく式 (6)を満たさない場合には縞の欠損があると判断される。この場合、ここからて本の縞欠損があると想定し、縞欠損を考慮した最適強度組み合わせパターン光の強度 Iと最適強度組み合わせパターン光を投影した計測対象物 Aの投影パターン光のうち注目する縞の強度

I、

との比較を行い、縞アドレスを判定する。具体的には、式 (4)の kを式（7)に修正して、再度 Step3を実行し、各縞のアドレス力も方向角を算出する (ステップ S109)。

[数 7] k =k + i ■ ■ ■ (7)

[数 8]

ただし、 τの記号は、 +が注目する縞の下方、一が上方に縞の欠損があることを示す。閾値 Cの値は補正手段 15が行う補正により適宜設定する。

[0059] 次に、分割手段 17によって、図 6に示すような投影パターン光の強度分布力も得られた強度値の極大値および極小値により、投影パターン光を周期ごとに分割する。これにより、計測対象物 Αの奥行きはいくつかの奥行き領域 Qに分割される (ステップ S 110)。分割手段 17は、ステップ S107により得られた強度値が I(Q)である Q本目の縞の強度値の極大値を Q本目の縞の中心位置 T(Q)とし、この位置力も縞の両側にある強度値の極小値である B (Q— 1)と B (Q + 1)を探す。 B(Q-l)力ら B (Q + 1)までの領域は Q本目の縞の奥行き領域 Qとなる。抽出されたすベての縞に対しこのような操作を行ヽ、計測対象物 A全体をヽくつかの奥行き領域に分割する。

[0060] そして、位相値算出手段 18は、数 (9)を用いて分割手段 17により分割して得られた各奥行き領域で、投影パターン光の縞の強度値によりその位相値 i8 (i, j)を算出する（ステップ S 111)。

[数 9]

2 ( _J)-I(Q)

arc cos - B(i )=l

O)

- arccos

0,

ここで、走査方向に縞の強度が増加する場合には、 B(i, j) =0、減少する場合には B(i, j)=lとなる。

[0061] 位相値算出手段 18によって算出された位相値 j8 (i, j)を用いて、距離算出手段 19 は各奥行き領域で、計測対象物 Aの奥行き距離 Z(i, j)を式 (10)により算出する (ステツプ S 112)。

[数 10] Z (i , J) = Z {Q ) + kfi {i, j ) · · · ( 1 0 )

ここで、 Z (Q)は領域 Qの奥行き最小値であり、 kは定数である。

[0062] 三次元情報算出手段 20は、投影パターン光の各縞の各計測点である画素ごとにステップ S 107〜ステップ S 112の計算により得られた値を用、て、計測対象物 A全体の三次元空間座標を算出する。この三次元情報には空間座標、距離、角度、面積または体積などが含まれる。特に計測対象物 Aが人体の場合には、体型なども算出することができる（ステップ S 113)。

[0063] すべての計測結果は、コンピュータ 3に接続されたディスプレイなどの出力手段 21 を用いて画面上に表示したり、プリンタなどの別の出力手段 21によって、テキストファィルゃ図面ファイルとして出力したりすることができる（ステップ S114)。

[0064] なお、本実施形態では、ノターン投影機 1とカメラ 2をそれぞれ 1台ずつ用いたが、計測精度をさらに向上させるために、図 7に示すように、局所領域用のカメラ 2a, 2b, 2c…を数台増設してもよい。これにより、局所領域の細かい画像を用いて、計測対象物 Aの高解像度画像を合成することができ、この画像を用いることにより、より高精度の三次元情報を算出することができる。また、図 8に示すように、ノターン投影機 1 とカメラ 2とを 1セットとし、計測対象物 Aの周辺に複数セットを設置してもよい。これにより、より短時間で広範囲の計測を実現することができ、計測対象物 Aの三次元情報を全周に渡って短時間で高精度に得ることもできるので、特に人体などを計測する際には被験者に負担をかけることなく計測を行うことができる。

[0065] なお、本実施形態では、投影するパターン光は縦縞状のものを用いたが、これに限らず、横縞状、斜めに形成された縞状のものなど直線状の縞で形成されたパターンや、大きさの異なる同心円状、円形状、楕円状などの模様による円形パターンおよび多角形による角形パターンや、格子状などの複雑な模様によるパターンを用いてもよい。

[0066] また、静止物体を計測する場合には補正手段 15によるステップ S106を省略することができる。これにより、計測対象物 Aの三次元情報をより短時間で得ることができる実施例 [0067] 以下に、本発明の三次元計測装置を用いて人体の三次元計測を行った結果を図 9A〜図 9Fに示す。図 9Aは初期パターン光を投影した画像、図 9Bは最適強度糸且み合わせパターン、図 9Cは最適強度組み合わせパターン光を投影した画像、図 9Dは強度値補正を行った画像、図 9Eは奥行き距離を算出した結果を示す画像、図 9Fは三次元情報をグラフィック表現した画像である。

[0068] 図 9A〜図 9Fに示すように、本発明の三次元計測装置を用いた人体の三次元計測では、良好な結果を得ることができた。本発明の三次元計測精度は、計測システムのキャリブレーションにも依存する力縞本数が 60の場合、各縞の方向角の認識率力 100%であるので、奥行き方向（Z方向）の計測精度は 98. 3%以上である。また、各縞の間の部分の計測は強度'位相解析により行い、 3階調以上の計測精度を確保できれば、奥行き方向の計測精度は 99. 4%以上になる。また、 Xと Y方向の計測精度は使用されたカメラの解像度などにより変わるが、 Z方向以上の計測精度を保証することがでさる。

産業上の利用可能性

[0069] 本発明は、一回の投影で多くの個別パターンを有するパターン光を得ることができ、高速かつ高精度の三次元情報を得ることができるので三次元計測装置として有用である。特に、精度の高い三次元情報が一回の投影で得られ、短時間で計測を行うことができることから、人体の三次元計測装置としても有用であるので、特に医療、衣服設計、生活環境整備など分野での利用が可能となる。また、人体の三次元情報から体型の計測などもできるので、健康管理、ダイエットなど分野にも利用することができる。

Claims

請求の範囲

[1] 計測対象物に投影する光のパターンを形成するパターン形成手段と、

前記計測対象物に前記パターン形成手段により形成されたパターンの光 (以下、「パターン光」と称す。）を投影する投影手段と、

前記パターン光が投影された計測対象物を撮像して画像を取得する撮像手段と、前記画像から前記投影されたパターン光 (以下、「投影パターン光」と称す。）を検出する投影パターン光検出手段と、

前記投影パターン光と元のパターン光とを比較して前記投影パターン光の方向角を算出する方向角算出手段と、

前記投影パターン光を周期ごとに分割する分割手段と、

前記分割された投影パターン光力計測点の位相値を算出する位相値算出手段と前記算出された位相値より計測点の奥行き距離を算出する距離算出手段と、前記算出された計測点の奥行き距離を用いて前記計測対象物の三次元情報を算出する三次元情報算出手段と

を備える三次元計測装置。

[2] 前記パターン形成手段は、パターン光の強度分布を最適化して最適強度組み合わせパターンを形成するものである請求項 1記載の三次元計測装置。

[3] 前記投影パターン光検出手段により検出された投影パターン光の強度値を補正する強度値補正手段を備えた請求項 1記載の三次元計測装置。

[4] 前記投影パターン光検出手段により検出された投影パターン光の強度値を補正する強度値補正手段を備えた請求項 2記載の三次元計測装置。

[5] 前記撮像手段により取得された画像内の計測対象物の位置を補正する位置補正手段を備えた請求項 1または 2に記載の三次元計測装置。

[6] 前記撮像手段により取得された画像内の計測対象物の位置を補正する位置補正手段を備えた請求項 3または 4に記載の三次元計測装置。

[7] 前記三次元情報算出手段は、前記計測対象物の空間座標、距離、角度、面積または体積を算出するものである請求項 1または 2に記載の三次元計測装置。

[8] 前記三次元情報算出手段は、前記計測対象物の空間座標、距離、角度、面積または体積を算出するものである請求項 3または 4に記載の三次元計測装置。

[9] 前記三次元情報算出手段は、前記計測対象物の空間座標、距離、角度、面積または体積を算出するものである請求項 5記載の三次元計測装置。

[10] 前記三次元情報算出手段は、前記計測対象物の空間座標、距離、角度、面積または体積を算出するものである請求項 6記載の三次元計測装置。

[11] 前記パターンは縞状に形成されたものである請求項 1または 2に記載の三次元計測装置。

[12] 前記パターンは縞状に形成されたものである請求項 3または 4に記載の三次元計測装置。

[13] 前記パターンは縞状に形成されたものである請求項 5記載の三次元計測装置。

[14] 前記パターンは縞状に形成されたものである請求項 6記載の三次元計測装置。

[15] 前記パターンは縞状に形成されたものである請求項 7記載の三次元計測装置。

[16] 前記パターンは縞状に形成されたものである請求項 8記載の三次元計測装置。

[17] 前記パターンは縞状に形成されたものである請求項 9または 10に記載の三次元計測装置。

[18] 計測対象物に投影する光パターンを形成するパターン形成ステップと、

投影手段により前記パターン形成ステップで形成されたパターンの光を前記計測対象物に投影するパターン光投影ステップと、

撮像手段により前記パターン光が投影された計測対象物を撮像して画像を取得する撮像ステップと、

前記画像カゝら前記投影されたパターン光を検出する投影パターン光検出ステップと、

前記投影パターン光と元のパターン光と比較して前記投影パターン光の方向角を算出する方向角算出ステップと、

前記投影パターン光を周期ごとに分割する分割ステップと、

前記分割された投影パターン光力計測点の位相値を算出する位相値算出ステツプと、前記算出された位相値より計測点の奥行き距離を算出する距離算出ステップと、前記算出された計測点の奥行き距離を用いて前記計測対象物の三次元情報を算出する三次元情報算出ステップと

を含む三次元計測方法。

コンピュータを、

計測対象物に投影する光のパターンを形成するパターン形成手段と、

前記パターン形成手段により形成されたパターンの光が投影された計測対象物が撮像された画像カゝら前記投影されたパターン光を検出する投影パターン光検出手段と、

前記投影パターン光を周期ごとに分割する分割手段と、

して機能させるための三次元計測プログラム。