JP2003083730A - ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法 - Google Patents
３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法Info
- Publication number
- JP2003083730A JP2003083730A JP2002128905A JP2002128905A JP2003083730A JP 2003083730 A JP2003083730 A JP 2003083730A JP 2002128905 A JP2002128905 A JP 2002128905A JP 2002128905 A JP2002128905 A JP 2002128905A JP 2003083730 A JP2003083730 A JP 2003083730A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- image
- dimensional information
- gradation
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】白色系や淡色系被写体だけでなく濃色系被写体
についても正しく３次元形状を復元することができるよ
うにする。 【解決手段】色による縞の特徴づけと同一成分の階調に
よる特徴づけを同時に埋め込んだパターンを用いた投影
パターン撮影と、パターン無しフラッシュ撮影とパター
ン無しフラッシュ無し撮影との３種類の被写体撮影を行
ない、それぞれ得られた画像を画像メモリ２５に記憶す
る。そして、２次元画像情報生成部２６により、それら
３種類の画像から被写体の表面反射率や外光の影響の補
正を行なった後、白色系や淡色系の被写体については色
による特徴、濃色系の被写体については階調による特徴
によってパターン構造を推定し、その推定結果を上記画
像メモリ２５に記憶する。奥行き算出部２７は、この記
憶されたパターン構造とパターンメモリ２１に予め記憶
してある投影されたパターンの情報との対応関係を特定
し、この特定結果に基づいて被写体各部の奥行きを算出
する。
についても正しく３次元形状を復元することができるよ
うにする。 【解決手段】色による縞の特徴づけと同一成分の階調に
よる特徴づけを同時に埋め込んだパターンを用いた投影
パターン撮影と、パターン無しフラッシュ撮影とパター
ン無しフラッシュ無し撮影との３種類の被写体撮影を行
ない、それぞれ得られた画像を画像メモリ２５に記憶す
る。そして、２次元画像情報生成部２６により、それら
３種類の画像から被写体の表面反射率や外光の影響の補
正を行なった後、白色系や淡色系の被写体については色
による特徴、濃色系の被写体については階調による特徴
によってパターン構造を推定し、その推定結果を上記画
像メモリ２５に記憶する。奥行き算出部２７は、この記
憶されたパターン構造とパターンメモリ２１に予め記憶
してある投影されたパターンの情報との対応関係を特定
し、この特定結果に基づいて被写体各部の奥行きを算出
する。
Description
【０００１】
【発明の属する技術分野】本発明は、３次元形状を計測
するために、被写体にパターンを投影し、受光パターン
と投光パターンとの対応を求めることにより、奥行き値
を取得可能な３次元情報取得装置、そのような３次元情
報取得における投影パターン、及び、３次元情報取得方
法に関する。
するために、被写体にパターンを投影し、受光パターン
と投光パターンとの対応を求めることにより、奥行き値
を取得可能な３次元情報取得装置、そのような３次元情
報取得における投影パターン、及び、３次元情報取得方
法に関する。
【０００２】
【従来の技術】従来の３次元物体の形状計測方法には、
大きく分けて次の２種類がある。一つは、光の伝播時間
の測定による方法であり、もう一つは、三角測量の原理
を利用した方法である。前者は、死角がなく、原理的に
は理想的な方法であるが、現状では、計測時間及び精度
に問題があるため、主に後者の三角測量法が利用されて
いる。
大きく分けて次の２種類がある。一つは、光の伝播時間
の測定による方法であり、もう一つは、三角測量の原理
を利用した方法である。前者は、死角がなく、原理的に
は理想的な方法であるが、現状では、計測時間及び精度
に問題があるため、主に後者の三角測量法が利用されて
いる。
【０００３】この三角測量を利用した方法には、能動的
な手法であるアクティブ法と、受動的な手法であるパッ
シブステレオ法とがある。
な手法であるアクティブ法と、受動的な手法であるパッ
シブステレオ法とがある。
【０００４】上記パッシブステレオ法は、位置の異なる
２台のカメラから得られたステレオの画像間の対応づけ
を行ない、その対応づけの結果と予め計測されている２
台のカメラの位置関係とから三角測量の原理により、被
写体までの距離を求める方法である。この方法は、画像
間の対応づけの困難さが伴う上、テクスチャの無い物体
の形状を求めることができないという欠点を有してい
る。
２台のカメラから得られたステレオの画像間の対応づけ
を行ない、その対応づけの結果と予め計測されている２
台のカメラの位置関係とから三角測量の原理により、被
写体までの距離を求める方法である。この方法は、画像
間の対応づけの困難さが伴う上、テクスチャの無い物体
の形状を求めることができないという欠点を有してい
る。
【０００５】これに対し、三角測量の原理を利用したア
クティブ法として、上記２台のカメラの一方を光源に置
き換え、物体表面での上記光源の像をもう一方の視点に
設定したカメラで観察し、形状計測する光投影法があ
る。この光投影法は、更に、スポット光投影法、スリッ
ト光投影法及びパターン光投影法に分類することができ
る。
クティブ法として、上記２台のカメラの一方を光源に置
き換え、物体表面での上記光源の像をもう一方の視点に
設定したカメラで観察し、形状計測する光投影法があ
る。この光投影法は、更に、スポット光投影法、スリッ
ト光投影法及びパターン光投影法に分類することができ
る。
【０００６】上記スポット光投影法では、１回の画像入
力で被写体の１点しか計測できない。
力で被写体の１点しか計測できない。
【０００７】上記スリット光投影法では、１回の画像入
力で物体の１ラインの計測を行なうことができるが、や
はり、被写体全域の形状計測を行なうためには、投影光
を偏向させながら何度も画像入力を繰り返す必要があ
り、入力に時間がかかる。
力で物体の１ラインの計測を行なうことができるが、や
はり、被写体全域の形状計測を行なうためには、投影光
を偏向させながら何度も画像入力を繰り返す必要があ
り、入力に時間がかかる。
【０００８】上記パターン光投影法は、縞パターンまた
は格子パターンのような２次元的なパターンを被写体に
投影するもので、パターン投影画像の入力回数が少なく
てよいため、計測を短時間で行なうことができるという
メリットがある。
は格子パターンのような２次元的なパターンを被写体に
投影するもので、パターン投影画像の入力回数が少なく
てよいため、計測を短時間で行なうことができるという
メリットがある。
【０００９】このパターン光投影法は、空間コード化と
も呼ばれ、これは更にパターン形状コード化と階調コー
ド化とに分けられる。
も呼ばれ、これは更にパターン形状コード化と階調コー
ド化とに分けられる。
【００１０】前者のパターン形状コード化として、スリ
ットの開口幅の分布によるものと、Ｍ系列コードを利用
したものとが提案されているが、計測密度及び計測の安
定性に問題があり、実用性に乏しいといわれている。
ットの開口幅の分布によるものと、Ｍ系列コードを利用
したものとが提案されているが、計測密度及び計測の安
定性に問題があり、実用性に乏しいといわれている。
【００１１】一方、後者の階調コード化には、濃淡によ
るものと色によるものとがある。
るものと色によるものとがある。
【００１２】まず、濃淡によるコード化については、パ
ターンの明暗ピッチを倍々に変えて投影していく２値パ
ターンによる時系列空間コード化法がよく知られてい
る。この方法は、位置ずれやノイズによるコード化誤り
を±１に抑えることができるなどの優れた特徴を持って
おり、Ｎ本のスリット光と同じ分解能を得るためには、
ｌｏｇ２Ｎ回の２値パターンを投影すればよい。例え
ば、１２８本のスリット画像と同じ分解能を７枚の２値
パターンの投影で実現できる。
ターンの明暗ピッチを倍々に変えて投影していく２値パ
ターンによる時系列空間コード化法がよく知られてい
る。この方法は、位置ずれやノイズによるコード化誤り
を±１に抑えることができるなどの優れた特徴を持って
おり、Ｎ本のスリット光と同じ分解能を得るためには、
ｌｏｇ２Ｎ回の２値パターンを投影すればよい。例え
ば、１２８本のスリット画像と同じ分解能を７枚の２値
パターンの投影で実現できる。
【００１３】しかしながら、２値パターンによる時系列
コード化では、三脚に固定せずに手で持って撮影する場
合や、人間や動物などのようにじっと止まっていられな
い被写体の場合に充分に対処できない。なぜなら、投影
回数が多いと手ぶれや被写体のぶれを許容できる時間内
に撮影を終えることができないからである。更に、フラ
ッシュの充電時間や発光量の制約もあり、これらを満足
できる投影回数では済まないからである。
コード化では、三脚に固定せずに手で持って撮影する場
合や、人間や動物などのようにじっと止まっていられな
い被写体の場合に充分に対処できない。なぜなら、投影
回数が多いと手ぶれや被写体のぶれを許容できる時間内
に撮影を終えることができないからである。更に、フラ
ッシュの充電時間や発光量の制約もあり、これらを満足
できる投影回数では済まないからである。
【００１４】そこで、パターンの投影回数を減らすため
に、２値パターンを多値パターンにすることが考えられ
る。これに関しては、例えば、（精密工学会誌 ｖｏ
ｌ．６２，Ｎｏ．６，ｐｐ．８３０−８３４，１９９
６）中で提案されている。そこでは、フラッシュ撮影画
像とフラッシュ無し撮影画像の各画素での輝度差を階調
数で分割して、作成時の輝度値がどこの区間に収まるか
で多階調を判別している。
に、２値パターンを多値パターンにすることが考えられ
る。これに関しては、例えば、（精密工学会誌 ｖｏ
ｌ．６２，Ｎｏ．６，ｐｐ．８３０−８３４，１９９
６）中で提案されている。そこでは、フラッシュ撮影画
像とフラッシュ無し撮影画像の各画素での輝度差を階調
数で分割して、作成時の輝度値がどこの区間に収まるか
で多階調を判別している。
【００１５】このため、取得画像にガンマ特性などの非
線型性がある場合や、反射輝度差が少ない領域において
デコード誤りを起こし易く、通常照明下での安定した測
定が困難であった。また、計測結果が物体表面の色など
の状態に影響されていた。これらの問題を解決すべく、
上記文献中で参照用投影などの提案がされているが、投
影回数が増えてしまうなど現実的ではない。このよう
に、輝度の多階調によるコード化は、輝度の変動の影響
を受け易いため、適切な閾値を設定することが困難であ
った。
線型性がある場合や、反射輝度差が少ない領域において
デコード誤りを起こし易く、通常照明下での安定した測
定が困難であった。また、計測結果が物体表面の色など
の状態に影響されていた。これらの問題を解決すべく、
上記文献中で参照用投影などの提案がされているが、投
影回数が増えてしまうなど現実的ではない。このよう
に、輝度の多階調によるコード化は、輝度の変動の影響
を受け易いため、適切な閾値を設定することが困難であ
った。
【００１６】一方、色によるコード化に関しては、例え
ば、（電子情報通信学会論文誌 ｖｏｌ．Ｊ６１−Ｄ，
Ｎｏ．６，ｐｐ．４１１−４１８，１９７８）中で提案
されている。図９は、Ｒ，Ｇ，Ｂの色によってコード化
された縞パターンの例である。Ｒ，Ｇ，Ｂの間に最小輝
度レベルである黒の領域を設けたことによって、光の拡
散による混色を軽減することができるように工夫されて
いる。
ば、（電子情報通信学会論文誌 ｖｏｌ．Ｊ６１−Ｄ，
Ｎｏ．６，ｐｐ．４１１−４１８，１９７８）中で提案
されている。図９は、Ｒ，Ｇ，Ｂの色によってコード化
された縞パターンの例である。Ｒ，Ｇ，Ｂの間に最小輝
度レベルである黒の領域を設けたことによって、光の拡
散による混色を軽減することができるように工夫されて
いる。
【００１７】図１０を用いて従来の色によるカラーパタ
ーン投影法における処理の流れを説明する。
ーン投影法における処理の流れを説明する。
【００１８】まず、図９のようなコード化済みのカラー
パターンを被写体に投影し（ステップＳ１０１）、この
投影パターンを撮影した画像データ（Ｐｒ，Ｐｇ，Ｐ
ｂ）を得る（ステップＳ１０２）。
パターンを被写体に投影し（ステップＳ１０１）、この
投影パターンを撮影した画像データ（Ｐｒ，Ｐｇ，Ｐ
ｂ）を得る（ステップＳ１０２）。
【００１９】続いて、上記画像データより縞構造（Ｐ
ｒ，Ｐｇ，Ｐｂの極大位置及び極小位置）を検出する
（ステップＳ１０３）。そして、各縞に対し、Ｐｒ，Ｐ
ｇ，Ｐｂの中で最大となる成分によって当該縞の射出時
の色を特定する（ステップＳ１０４）。
ｒ，Ｐｇ，Ｐｂの極大位置及び極小位置）を検出する
（ステップＳ１０３）。そして、各縞に対し、Ｐｒ，Ｐ
ｇ，Ｐｂの中で最大となる成分によって当該縞の射出時
の色を特定する（ステップＳ１０４）。
【００２０】次に、受光した縞のコード系列（色の並び
方）を書き出し（ステップＳ１０５）、受光したコード
系列の各コード番号とパターン射出時のコード系列のコ
ード番号とを、コード系列内の配列関係も含めてマッチ
ングする（ステップＳ１０６）。その結果、パターンの
射出位置と反射光の受光位置とを一意的に対応づけるこ
とができ、これに三角測量の原理を適用して奥行き値を
算出する（ステップＳ１０７）。
方）を書き出し（ステップＳ１０５）、受光したコード
系列の各コード番号とパターン射出時のコード系列のコ
ード番号とを、コード系列内の配列関係も含めてマッチ
ングする（ステップＳ１０６）。その結果、パターンの
射出位置と反射光の受光位置とを一意的に対応づけるこ
とができ、これに三角測量の原理を適用して奥行き値を
算出する（ステップＳ１０７）。
【００２１】そして、得られた奥行き値と撮影した２次
元画像情報とから３次元画像を生成する（ステップＳ１
０８）。
元画像情報とから３次元画像を生成する（ステップＳ１
０８）。
【００２２】従来の色によるカラーパターン投影法は、
以上のような処理を行なっている。
以上のような処理を行なっている。
【００２３】
【発明が解決しようとする課題】しかしながら、従来の
色によるカラーパターン投影法は、特に濃色系の物体に
対しての３次元形状の測定が困難であった。図９を用い
て、このことを説明する。
色によるカラーパターン投影法は、特に濃色系の物体に
対しての３次元形状の測定が困難であった。図９を用い
て、このことを説明する。
【００２４】例えば、Ｇ成分とＢ成分の反射信号がほと
んどゼロに近く、Ｒ成分の反射信号が強いような表面反
射率特性を持つ物体（つまり、リンゴのような濃い赤の
物体）に対しては、Ｒ成分の輝度値において、一つの極
大の信号が得られるが、Ｇ成分とＢ成分の輝度値は、ほ
とんどノイズレベルになってしまう。このような状況下
では、Ｇ成分とＢ成分の縞構造は抽出することすらでき
ず、ましてや、縞を特定することなどできない。つま
り、Ｒ，Ｇ，Ｂのうち一つの成分でも、その反射信号が
ゼロに近いような表面反射率特性を持つ物体に対しては
デコードが困難になる。言い換えると、白色系または淡
色系の物体表面に対しては、うまくデコードできるが、
Ｒ，Ｇ，Ｂ成分の反射信号のうち一つでも、ほとんどゼ
ロに近いノイズレベルの値となるような表面反射率特性
を持つ物体に対しては、Ｒ，Ｇ，Ｂの組み合わせから求
まる、色による判定は困難になってしまう。
んどゼロに近く、Ｒ成分の反射信号が強いような表面反
射率特性を持つ物体（つまり、リンゴのような濃い赤の
物体）に対しては、Ｒ成分の輝度値において、一つの極
大の信号が得られるが、Ｇ成分とＢ成分の輝度値は、ほ
とんどノイズレベルになってしまう。このような状況下
では、Ｇ成分とＢ成分の縞構造は抽出することすらでき
ず、ましてや、縞を特定することなどできない。つま
り、Ｒ，Ｇ，Ｂのうち一つの成分でも、その反射信号が
ゼロに近いような表面反射率特性を持つ物体に対しては
デコードが困難になる。言い換えると、白色系または淡
色系の物体表面に対しては、うまくデコードできるが、
Ｒ，Ｇ，Ｂ成分の反射信号のうち一つでも、ほとんどゼ
ロに近いノイズレベルの値となるような表面反射率特性
を持つ物体に対しては、Ｒ，Ｇ，Ｂの組み合わせから求
まる、色による判定は困難になってしまう。
【００２５】なお、ここでは、縞パターンの例を挙げて
説明したが、格子パターンなどの場合にも同様のことが
あてはまる。
説明したが、格子パターンなどの場合にも同様のことが
あてはまる。
【００２６】本発明は、上記の事情に鑑みてなされたも
ので、白色系や淡色系だけでなく濃色系の物体に対して
も、コード化されたパターンの投影像から正しいデコー
ドが可能となるような３次元情報取得装置、３次元情報
取得における投影パターン、及び、３次元情報取得方法
を提供することを目的とする。
ので、白色系や淡色系だけでなく濃色系の物体に対して
も、コード化されたパターンの投影像から正しいデコー
ドが可能となるような３次元情報取得装置、３次元情報
取得における投影パターン、及び、３次元情報取得方法
を提供することを目的とする。
【００２７】
【課題を解決するための手段】上記の目的を達成するた
めに、本発明による３次元情報取得装置は、撮影手段か
ら所定の距離離れた位置から複数の色成分のパターンが
重畳された所定の投影パターンが投影された撮影対象を
上記撮影手段で撮影し、上記撮影手段で撮影された画像
を解析することにより、上記撮影対象の３次元情報を取
得する３次元情報取得装置であって、光源からの光によ
って照明された上記撮影対象を撮影した第１の画像、上
記光源を消灯あるいは遮光して上記光源からの光による
照明を行なわずに上記撮影対象を撮影した第２の画像、
及び上記光源からの光または上記光源と同じ特性を有す
る他の光源からの光を利用して上記投影パターンが投影
された上記撮影対象を撮影した第３の画像を記憶する画
像記憶手段と、上記撮影対象に投影される上記投影パタ
ーンを予め記憶するパターン記憶手段と、上記画像記憶
手段に記憶された上記第１、第２及び第３の画像を利用
して上記撮影対象の表面反射率および外光の影響を補正
し、上記補正を行なって得られたパターン各部の色また
は階調（輝度）に基づいて撮影されたパターンの構造を
推定するパターン構造推定手段と、上記パターン構造推
定手段による上記推定の結果と上記パターン記憶手段に
記憶された上記投影パターンとの対応関係を特定し、上
記対応関係の特定結果に基づいて上記撮影対象の奥行き
値を算出する奥行き算出手段とを備えることを特徴とす
るものである。
めに、本発明による３次元情報取得装置は、撮影手段か
ら所定の距離離れた位置から複数の色成分のパターンが
重畳された所定の投影パターンが投影された撮影対象を
上記撮影手段で撮影し、上記撮影手段で撮影された画像
を解析することにより、上記撮影対象の３次元情報を取
得する３次元情報取得装置であって、光源からの光によ
って照明された上記撮影対象を撮影した第１の画像、上
記光源を消灯あるいは遮光して上記光源からの光による
照明を行なわずに上記撮影対象を撮影した第２の画像、
及び上記光源からの光または上記光源と同じ特性を有す
る他の光源からの光を利用して上記投影パターンが投影
された上記撮影対象を撮影した第３の画像を記憶する画
像記憶手段と、上記撮影対象に投影される上記投影パタ
ーンを予め記憶するパターン記憶手段と、上記画像記憶
手段に記憶された上記第１、第２及び第３の画像を利用
して上記撮影対象の表面反射率および外光の影響を補正
し、上記補正を行なって得られたパターン各部の色また
は階調（輝度）に基づいて撮影されたパターンの構造を
推定するパターン構造推定手段と、上記パターン構造推
定手段による上記推定の結果と上記パターン記憶手段に
記憶された上記投影パターンとの対応関係を特定し、上
記対応関係の特定結果に基づいて上記撮影対象の奥行き
値を算出する奥行き算出手段とを備えることを特徴とす
るものである。
【００２８】また、本発明による３次元情報取得方法
は、撮影手段から所定の距離離れた位置から複数の色成
分のパターンが重畳された所定の投影パターンが投影さ
れた撮影対象を上記撮影手段で撮影し、上記撮影手段で
撮影された画像を解析することにより、上記撮影対象の
３次元情報を取得する３次元情報取得方法であって、光
源からの光によって照明された上記撮影対象を撮影する
ことで第１の画像を得、上記光源を消灯あるいは遮光し
て上記光源からの光による照明を行なわずに上記撮影対
象を撮影することで第２の画像を得、上記光源からの光
または上記光源と同じ特性を有する他の光源からの光を
利用して上記投影パターンが投影された上記撮影対象を
撮影することで第３の画像を得、これら第１、第２及び
第３の画像を利用して上記撮影対象の表面反射率および
外光の影響を補正し、上記補正を行なって得られたパタ
ーン各部の色または階調（輝度）に基づいて撮影された
パターンの構造を推定し、上記推定の結果と上記投影し
た所定の投影パターンとの対応関係を特定し、上記対応
関係の特定結果に基づいて上記撮影対象の奥行き値を算
出することを特徴とするものである。
は、撮影手段から所定の距離離れた位置から複数の色成
分のパターンが重畳された所定の投影パターンが投影さ
れた撮影対象を上記撮影手段で撮影し、上記撮影手段で
撮影された画像を解析することにより、上記撮影対象の
３次元情報を取得する３次元情報取得方法であって、光
源からの光によって照明された上記撮影対象を撮影する
ことで第１の画像を得、上記光源を消灯あるいは遮光し
て上記光源からの光による照明を行なわずに上記撮影対
象を撮影することで第２の画像を得、上記光源からの光
または上記光源と同じ特性を有する他の光源からの光を
利用して上記投影パターンが投影された上記撮影対象を
撮影することで第３の画像を得、これら第１、第２及び
第３の画像を利用して上記撮影対象の表面反射率および
外光の影響を補正し、上記補正を行なって得られたパタ
ーン各部の色または階調（輝度）に基づいて撮影された
パターンの構造を推定し、上記推定の結果と上記投影し
た所定の投影パターンとの対応関係を特定し、上記対応
関係の特定結果に基づいて上記撮影対象の奥行き値を算
出することを特徴とするものである。
【００２９】即ち、本発明の３次元情報取得装置及び３
次元情報取得方法によれば、白色系や淡色系物体測定用
である色による特徴と濃色系物体測定用である同一色成
分の階調による特徴という２つの異なる特徴を併せ持つ
投影パターンを用い、第１の画像（光源点灯）と第２の
画像（光源消灯）と第３の画像（パターン投影）とから
撮影対象の表面反射率及び外光の影響を補正して、パタ
ーン特定を行なった上で、奥行き値を算出するようにし
ているので、淡色系物体だけでなく濃色系物体において
も３次元情報を取得することができる。
次元情報取得方法によれば、白色系や淡色系物体測定用
である色による特徴と濃色系物体測定用である同一色成
分の階調による特徴という２つの異なる特徴を併せ持つ
投影パターンを用い、第１の画像（光源点灯）と第２の
画像（光源消灯）と第３の画像（パターン投影）とから
撮影対象の表面反射率及び外光の影響を補正して、パタ
ーン特定を行なった上で、奥行き値を算出するようにし
ているので、淡色系物体だけでなく濃色系物体において
も３次元情報を取得することができる。
【００３０】また、上記の目的を達成するために、本発
明による３次元情報取得装置は、撮影手段から所定の距
離離れた位置から複数の色成分のパターンが重畳された
所定の投影パターンが投影された撮影対象を上記撮影手
段で撮影し、上記撮影手段で撮影された画像を解析する
ことにより、上記撮影対象の３次元情報を取得する３次
元情報取得装置であって、光源からの光によって照明さ
れた上記撮影対象を撮影した第１の画像と、上記光源か
らの光または上記光源と同じ特性を有する他の光源から
の光を利用して上記投影パターンが投影された上記撮影
対象を撮影した第２の画像とを記憶する画像記憶手段
と、上記撮影対象に投影される上記投影パターンを予め
記憶するパターン記憶手段と、上記画像記憶手段に記憶
された上記第１及び第２の画像を利用して上記撮影対象
の表面反射率の影響を補正し、上記補正を行なって得ら
れたパターン各部の色または階調（輝度）に基づいて撮
影されたパターンの構造を推定するパターン構造推定手
段と、上記パターン構造推定手段による上記推定の結果
と上記パターン記憶手段に記憶された上記投影パターン
との対応関係を特定し、上記対応関係の特定結果を利用
して上記撮影対象の奥行き値を算出する奥行き算出手段
とを備えることを特徴とするものである。
明による３次元情報取得装置は、撮影手段から所定の距
離離れた位置から複数の色成分のパターンが重畳された
所定の投影パターンが投影された撮影対象を上記撮影手
段で撮影し、上記撮影手段で撮影された画像を解析する
ことにより、上記撮影対象の３次元情報を取得する３次
元情報取得装置であって、光源からの光によって照明さ
れた上記撮影対象を撮影した第１の画像と、上記光源か
らの光または上記光源と同じ特性を有する他の光源から
の光を利用して上記投影パターンが投影された上記撮影
対象を撮影した第２の画像とを記憶する画像記憶手段
と、上記撮影対象に投影される上記投影パターンを予め
記憶するパターン記憶手段と、上記画像記憶手段に記憶
された上記第１及び第２の画像を利用して上記撮影対象
の表面反射率の影響を補正し、上記補正を行なって得ら
れたパターン各部の色または階調（輝度）に基づいて撮
影されたパターンの構造を推定するパターン構造推定手
段と、上記パターン構造推定手段による上記推定の結果
と上記パターン記憶手段に記憶された上記投影パターン
との対応関係を特定し、上記対応関係の特定結果を利用
して上記撮影対象の奥行き値を算出する奥行き算出手段
とを備えることを特徴とするものである。
【００３１】また、本発明による３次元情報取得方法
は、撮影手段から所定の距離離れた位置から複数の色成
分のパターンが重畳された所定の投影パターンが投影さ
れた撮影対象を上記撮影手段で撮影し、上記撮影手段で
撮影された画像を解析することにより、上記撮影対象の
３次元情報を取得する３次元情報取得方法であって、光
源からの光によって照明された上記撮影対象を撮影する
ことで第１の画像を得、上記光源からの光または上記光
源と同じ特性を有する他の光源からの光を利用して上記
投影パターンが投影された上記撮影対象を撮影すること
で第２の画像を得、これら第１及び第２の画像を利用し
て上記撮影対象の表面反射率の影響を補正し、上記補正
を行なって得られたパターン各部の色または階調（輝
度）に基づいて撮影されたパターンの構造を推定し、上
記推定の結果と上記投影した所定の投影パターンとの対
応関係を特定し、上記対応関係の特定結果を利用して上
記撮影対象の奥行き値を算出することを特徴とするもの
である。
は、撮影手段から所定の距離離れた位置から複数の色成
分のパターンが重畳された所定の投影パターンが投影さ
れた撮影対象を上記撮影手段で撮影し、上記撮影手段で
撮影された画像を解析することにより、上記撮影対象の
３次元情報を取得する３次元情報取得方法であって、光
源からの光によって照明された上記撮影対象を撮影する
ことで第１の画像を得、上記光源からの光または上記光
源と同じ特性を有する他の光源からの光を利用して上記
投影パターンが投影された上記撮影対象を撮影すること
で第２の画像を得、これら第１及び第２の画像を利用し
て上記撮影対象の表面反射率の影響を補正し、上記補正
を行なって得られたパターン各部の色または階調（輝
度）に基づいて撮影されたパターンの構造を推定し、上
記推定の結果と上記投影した所定の投影パターンとの対
応関係を特定し、上記対応関係の特定結果を利用して上
記撮影対象の奥行き値を算出することを特徴とするもの
である。
【００３２】即ち、本発明の３次元情報取得装置及び３
次元情報取得方法によれば、白色系や淡色系物体測定用
である色による特徴と濃色系物体測定用である同一色成
分の階調による特徴という２つの異なる特徴を併せ持つ
投影パターンを用い、第１の画像（光源点灯、高速シャ
ッタ）と第２の画像（パターン投影、高速シャッタ）と
から撮影対象の表面反射率及び外光の影響を補正して、
パターン特定を行なった上で、奥行き値を算出するよう
にしているので、淡色系物体だけでなく濃色系物体にお
いても３次元情報を取得することができる。
次元情報取得方法によれば、白色系や淡色系物体測定用
である色による特徴と濃色系物体測定用である同一色成
分の階調による特徴という２つの異なる特徴を併せ持つ
投影パターンを用い、第１の画像（光源点灯、高速シャ
ッタ）と第２の画像（パターン投影、高速シャッタ）と
から撮影対象の表面反射率及び外光の影響を補正して、
パターン特定を行なった上で、奥行き値を算出するよう
にしているので、淡色系物体だけでなく濃色系物体にお
いても３次元情報を取得することができる。
【００３３】更に、上記の目的を達成するために、本発
明による３次元情報取得装置は、撮影手段から所定の距
離離れた位置から複数の色成分のパターンが重畳された
所定の投影パターンが投影された撮影対象を上記撮影手
段で撮影し、上記撮影手段で撮影された画像を解析する
ことにより、上記撮影対象の３次元情報を取得する３次
元情報取得装置であって、上記投影パターンが投影され
た上記撮影対象を撮影した画像を記憶する画像記憶手段
と、上記撮影対象に投影される上記投影パターンを予め
記憶するパターン記憶手段と、上記画像中に含まれるパ
ターンの色により撮影されたパターンの構造を推定する
第１の推定方法と、全ての色成分でない一つ以上の色成
分の階調（輝度）により上記撮影されたパターンの構造
を推定する第２の推定方法とを選択的に実行するパター
ン構造推定手段と、上記パターン構造推定手段による上
記第１または第２の推定方法による推定結果と上記パタ
ーン記憶手段に記憶された上記投影パターンとの対応関
係を特定し、上記対応関係の特定結果を利用して上記撮
影対象の奥行き値を算出する奥行き算出手段とを備える
ことを特徴とするものである。
明による３次元情報取得装置は、撮影手段から所定の距
離離れた位置から複数の色成分のパターンが重畳された
所定の投影パターンが投影された撮影対象を上記撮影手
段で撮影し、上記撮影手段で撮影された画像を解析する
ことにより、上記撮影対象の３次元情報を取得する３次
元情報取得装置であって、上記投影パターンが投影され
た上記撮影対象を撮影した画像を記憶する画像記憶手段
と、上記撮影対象に投影される上記投影パターンを予め
記憶するパターン記憶手段と、上記画像中に含まれるパ
ターンの色により撮影されたパターンの構造を推定する
第１の推定方法と、全ての色成分でない一つ以上の色成
分の階調（輝度）により上記撮影されたパターンの構造
を推定する第２の推定方法とを選択的に実行するパター
ン構造推定手段と、上記パターン構造推定手段による上
記第１または第２の推定方法による推定結果と上記パタ
ーン記憶手段に記憶された上記投影パターンとの対応関
係を特定し、上記対応関係の特定結果を利用して上記撮
影対象の奥行き値を算出する奥行き算出手段とを備える
ことを特徴とするものである。
【００３４】また、本発明による３次元情報取得方法
は、撮影手段から所定の距離離れた位置から複数の色成
分のパターンが重畳された所定の投影パターンが投影さ
れた撮影対象を上記撮影手段で撮影し、上記撮影手段で
撮影された画像を解析することにより、上記撮影対象の
３次元情報を取得する３次元情報取得方法であって、上
記投影パターンが投影された上記撮影対象を撮影するこ
とで画像を得、この画像中に含まれるパターンの色によ
り撮影されたパターン構造を推定する第１の推定方法
と、全ての色成分でない一つ以上の色成分の階調（輝
度）により上記撮影されたパターンの構造を推定する第
２の推定方法とを選択的に実行し、上記第１または第２
の推定方法による推定結果と上記投影した所定の投影パ
ターンとの対応関係を特定し、上記対応関係の特定結果
を利用して上記撮影対象の奥行き値を算出することを特
徴とするものである。
は、撮影手段から所定の距離離れた位置から複数の色成
分のパターンが重畳された所定の投影パターンが投影さ
れた撮影対象を上記撮影手段で撮影し、上記撮影手段で
撮影された画像を解析することにより、上記撮影対象の
３次元情報を取得する３次元情報取得方法であって、上
記投影パターンが投影された上記撮影対象を撮影するこ
とで画像を得、この画像中に含まれるパターンの色によ
り撮影されたパターン構造を推定する第１の推定方法
と、全ての色成分でない一つ以上の色成分の階調（輝
度）により上記撮影されたパターンの構造を推定する第
２の推定方法とを選択的に実行し、上記第１または第２
の推定方法による推定結果と上記投影した所定の投影パ
ターンとの対応関係を特定し、上記対応関係の特定結果
を利用して上記撮影対象の奥行き値を算出することを特
徴とするものである。
【００３５】即ち、本発明の３次元情報取得装置及び３
次元情報取得方法によれば、白色系や淡色系物体測定用
である色による特徴と濃色系物体測定用である同一色成
分の階調による特徴という２つの異なる特徴を併せ持つ
投影パターンを用い、色成分が重畳された色（Ｒ，Ｇ，
Ｂ）によりパターン構造を推定する第１の推定方法を実
行することで淡色系物体に対処し、色成分毎（Ｒのみ，
Ｇのみ，Ｂのみ）にパターン構造を推定する第２の推定
方法とを選択的に実行することで濃色系物体に対処する
ことができるので、淡色系物体、濃色系物体の何れにお
いても３次元情報を取得することができる。
次元情報取得方法によれば、白色系や淡色系物体測定用
である色による特徴と濃色系物体測定用である同一色成
分の階調による特徴という２つの異なる特徴を併せ持つ
投影パターンを用い、色成分が重畳された色（Ｒ，Ｇ，
Ｂ）によりパターン構造を推定する第１の推定方法を実
行することで淡色系物体に対処し、色成分毎（Ｒのみ，
Ｇのみ，Ｂのみ）にパターン構造を推定する第２の推定
方法とを選択的に実行することで濃色系物体に対処する
ことができるので、淡色系物体、濃色系物体の何れにお
いても３次元情報を取得することができる。
【００３６】また、上記の目的を達成するために、本発
明による３次元情報取得における投影パターンは、撮影
対象を撮影した画像を解析して上記撮影対象の３次元情
報を取得するに際して、上記撮影対象に投影される投影
パターンであって、複数の色成分のパターンが重畳され
たものであり、異なる有彩色に着色された複数の領域を
含み、上記有彩色の領域は、上記各色成分のパターンの
所定の階調（輝度）を有する領域の組み合わせで構成さ
れたものであると共に、一つの色成分のパターンにおけ
る任意の上記領域の階調（輝度）は、他の色成分のパタ
ーンにおける上記任意の領域の階調と互いに異なり、こ
れによって上記任意の領域が上記投影パターンの中のど
の領域であるかの対応が特定できるように、上記投影パ
ターンが符号化されていることを特徴とするものであ
る。
明による３次元情報取得における投影パターンは、撮影
対象を撮影した画像を解析して上記撮影対象の３次元情
報を取得するに際して、上記撮影対象に投影される投影
パターンであって、複数の色成分のパターンが重畳され
たものであり、異なる有彩色に着色された複数の領域を
含み、上記有彩色の領域は、上記各色成分のパターンの
所定の階調（輝度）を有する領域の組み合わせで構成さ
れたものであると共に、一つの色成分のパターンにおけ
る任意の上記領域の階調（輝度）は、他の色成分のパタ
ーンにおける上記任意の領域の階調と互いに異なり、こ
れによって上記任意の領域が上記投影パターンの中のど
の領域であるかの対応が特定できるように、上記投影パ
ターンが符号化されていることを特徴とするものであ
る。
【００３７】即ち、本発明の３次元情報取得における投
影パターンによれば、白色系や淡色系物体測定用である
色による特徴と濃色系物体測定用である同一色成分の階
調による特徴という２つの異なる特徴を併せ持つので、
該投影パターンを用いることで淡色系物体だけでなく濃
色系物体においても３次元情報を取得することができる
ようになる。
影パターンによれば、白色系や淡色系物体測定用である
色による特徴と濃色系物体測定用である同一色成分の階
調による特徴という２つの異なる特徴を併せ持つので、
該投影パターンを用いることで淡色系物体だけでなく濃
色系物体においても３次元情報を取得することができる
ようになる。
【００３８】
【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を説明する。
の形態を説明する。
【００３９】［第１の実施の形態］図１は、本発明の第
１の実施の形態に係る３次元情報取得装置の適用された
３次元形状測定装置１の構成を示す図である。
１の実施の形態に係る３次元情報取得装置の適用された
３次元形状測定装置１の構成を示す図である。
【００４０】この３次元形状測定装置１は、本発明の第
１の実施の形態に係る３次元情報取得装置２と３次元画
像生成部３とから構成されている。そして、上記３次元
情報取得装置２は、パターンメモリ２１、ストロボ２
２、パターン切り替え部２３、撮影部２４、画像メモリ
２５、２次元画像情報生成部２６、奥行き算出部２７、
及び、制御部２８より構成されている。
１の実施の形態に係る３次元情報取得装置２と３次元画
像生成部３とから構成されている。そして、上記３次元
情報取得装置２は、パターンメモリ２１、ストロボ２
２、パターン切り替え部２３、撮影部２４、画像メモリ
２５、２次元画像情報生成部２６、奥行き算出部２７、
及び、制御部２８より構成されている。
【００４１】ここで、上記パターンメモリ２１は、上記
パターン記憶手段に相当するもので、被写体（図示せ
ず）に投光する投影パターンのコード系列などを記憶し
ておくものである。上記ストロボ２２は、光を照射する
ためのものであり、上記パターン切り替え部２３は、こ
のストロボ２２のストロボ光の強度（光の透過率）を場
所によって変調する投影パターンの有無を切り替えるも
のである。上記撮影部２４は、上記撮影手段に相当する
ものであり、上記被写体からの反射光を集光する集光レ
ンズ２４１と、この集光レンズ２４１で集めた光を受光
する受光部（撮像素子）２４２とから構成される。上記
画像メモリ２５は、上記画像記憶手段に相当するもので
あり、上記撮影部２４で撮影した画像を記憶する。上記
２次元画像情報生成部２６は、上記パターン構造抽出手
段に相当するものであり、上記画像メモリ２５に記憶さ
れている画像から２次元画像情報を生成する機能に加え
て、上記画像メモリ２５に記憶されている画像から撮影
されたパターンの構造を推定し、その推定結果を上記画
像メモリ２５に記憶させる機能も備えている。上記奥行
き算出部２７は、上記奥行き算出手段に相当するもので
あり、上記画像メモリ２５に記憶されている上記推定結
果と上記パターンメモリ２１に記憶されている投影パタ
ーンとから奥行き値を算出する。そして、上記制御部２
８は、上記ストロボ２２の発光制御、上記パターン切り
替え部２３の投影パターンの有無の切り替え制御、及び
上記受光部２４２の受光制御、などを行なうものであ
る。
パターン記憶手段に相当するもので、被写体（図示せ
ず）に投光する投影パターンのコード系列などを記憶し
ておくものである。上記ストロボ２２は、光を照射する
ためのものであり、上記パターン切り替え部２３は、こ
のストロボ２２のストロボ光の強度（光の透過率）を場
所によって変調する投影パターンの有無を切り替えるも
のである。上記撮影部２４は、上記撮影手段に相当する
ものであり、上記被写体からの反射光を集光する集光レ
ンズ２４１と、この集光レンズ２４１で集めた光を受光
する受光部（撮像素子）２４２とから構成される。上記
画像メモリ２５は、上記画像記憶手段に相当するもので
あり、上記撮影部２４で撮影した画像を記憶する。上記
２次元画像情報生成部２６は、上記パターン構造抽出手
段に相当するものであり、上記画像メモリ２５に記憶さ
れている画像から２次元画像情報を生成する機能に加え
て、上記画像メモリ２５に記憶されている画像から撮影
されたパターンの構造を推定し、その推定結果を上記画
像メモリ２５に記憶させる機能も備えている。上記奥行
き算出部２７は、上記奥行き算出手段に相当するもので
あり、上記画像メモリ２５に記憶されている上記推定結
果と上記パターンメモリ２１に記憶されている投影パタ
ーンとから奥行き値を算出する。そして、上記制御部２
８は、上記ストロボ２２の発光制御、上記パターン切り
替え部２３の投影パターンの有無の切り替え制御、及び
上記受光部２４２の受光制御、などを行なうものであ
る。
【００４２】なお、上記パターン切り替え部２３は、本
実施の形態では、透過型の液晶装置により構成してお
り、上記切り替え制御は、上記制御部２８が、上記パタ
ーンメモリ２１に記憶されている投影パターンに従った
像を上記透過型液晶装置に表示する／しない、により行
なうようになっている。あるいは、上記パターン切り替
え部２３は、上記パターンメモリ２１に記憶された投影
パターンと同様のパターンを構成したフィルムを上記ス
トロボ２２の光路上に機械的に進退させる構造とし、そ
の進退を上記制御部２８で制御するようにしても良い。
更には、機械的に進退させるのではなく、操作者が人手
によりストロボ光路上に進退させるものであっても構わ
ない。この場合には、制御部２８は直接パターン切り替
え部２３を制御しないが、例えば、図示しないインジケ
ータやブザーにより、操作者にそのような進退を指示す
る、あるいは、逆に、操作者の上記フィルムの進退操作
後にその操作終了を当該制御部２８に指示するための図
示しない操作部の操作を判別するような構成を取ること
が好ましい。
実施の形態では、透過型の液晶装置により構成してお
り、上記切り替え制御は、上記制御部２８が、上記パタ
ーンメモリ２１に記憶されている投影パターンに従った
像を上記透過型液晶装置に表示する／しない、により行
なうようになっている。あるいは、上記パターン切り替
え部２３は、上記パターンメモリ２１に記憶された投影
パターンと同様のパターンを構成したフィルムを上記ス
トロボ２２の光路上に機械的に進退させる構造とし、そ
の進退を上記制御部２８で制御するようにしても良い。
更には、機械的に進退させるのではなく、操作者が人手
によりストロボ光路上に進退させるものであっても構わ
ない。この場合には、制御部２８は直接パターン切り替
え部２３を制御しないが、例えば、図示しないインジケ
ータやブザーにより、操作者にそのような進退を指示す
る、あるいは、逆に、操作者の上記フィルムの進退操作
後にその操作終了を当該制御部２８に指示するための図
示しない操作部の操作を判別するような構成を取ること
が好ましい。
【００４３】そして、上記３次元画像生成部３は、上記
２次元画像情報生成部２６で生成された２次元画像情報
と、上記奥行き算出部２７で算出された奥行き値とか
ら、３次元画像を生成するものである。
２次元画像情報生成部２６で生成された２次元画像情報
と、上記奥行き算出部２７で算出された奥行き値とか
ら、３次元画像を生成するものである。
【００４４】次に、このような構成の３次元形状測定装
置１の動作について説明する。予め、上記パターンメモ
リ２１には、投影パターンのコード情報を記憶してお
く。そして、まず、上記制御部２８は、上記パターンメ
モリ２１より上記パターンコード情報を読み出し、その
パターンコード情報に従ったパターンを上記パターン切
り替え部２３に表示して、上記ストロボ２２を発光させ
ることで、上記パターンコード情報に従ったパターン付
きフラッシュ即ち投影パターンを被写体（図示せず）に
投光する。このとき、上記被写体からの反射光は、上記
集光レンズ２４１によって集光され、上記受光部２４２
に導かれる。よって、上記制御部２８は、上記ストロボ
２２の発光に同期して上記受光部２４２を動作させ、こ
の受光部２４２で得られた画像を上記画像メモリ２５に
記憶する。
置１の動作について説明する。予め、上記パターンメモ
リ２１には、投影パターンのコード情報を記憶してお
く。そして、まず、上記制御部２８は、上記パターンメ
モリ２１より上記パターンコード情報を読み出し、その
パターンコード情報に従ったパターンを上記パターン切
り替え部２３に表示して、上記ストロボ２２を発光させ
ることで、上記パターンコード情報に従ったパターン付
きフラッシュ即ち投影パターンを被写体（図示せず）に
投光する。このとき、上記被写体からの反射光は、上記
集光レンズ２４１によって集光され、上記受光部２４２
に導かれる。よって、上記制御部２８は、上記ストロボ
２２の発光に同期して上記受光部２４２を動作させ、こ
の受光部２４２で得られた画像を上記画像メモリ２５に
記憶する。
【００４５】次に、制御部２８は、上記パターン切り替
え部２３の上記パターン表示を無くした上で、上記と同
様にストロボ２２及び受光部２４２を制御することで、
パターン無し且つフラッシュ発光有り撮影を行ない、得
られた画像を上記画像メモリ２５に記憶する。
え部２３の上記パターン表示を無くした上で、上記と同
様にストロボ２２及び受光部２４２を制御することで、
パターン無し且つフラッシュ発光有り撮影を行ない、得
られた画像を上記画像メモリ２５に記憶する。
【００４６】更に、パターン無し且つフラッシュ無し撮
影を行なって、得られた画像を上記画像メモリ２５に記
憶する。
影を行なって、得られた画像を上記画像メモリ２５に記
憶する。
【００４７】こうして３種類の画像を得た後、上記２次
元画像情報生成部２６では、上記画像メモリ２５に記憶
された上記３種類の画像から、撮影されたパーンの構造
を表すパターン情報を抽出し、画像メモリ２５に書き込
む。この抽出方法の詳細については後述する。なお、２
次元画像情報生成部２６は、上記パターン無しフラッシ
ュ画像を上記画像メモリ２５から読み出し、平面的な写
真情報（２次元画像情報）をいつでも生成できるように
なっている。
元画像情報生成部２６では、上記画像メモリ２５に記憶
された上記３種類の画像から、撮影されたパーンの構造
を表すパターン情報を抽出し、画像メモリ２５に書き込
む。この抽出方法の詳細については後述する。なお、２
次元画像情報生成部２６は、上記パターン無しフラッシ
ュ画像を上記画像メモリ２５から読み出し、平面的な写
真情報（２次元画像情報）をいつでも生成できるように
なっている。
【００４８】次に、上記奥行き算出部２７において、上
記パターンメモリ２１に記憶された投影パターンのコー
ド情報と、上記画像メモリ２５に書き込まれた上記２次
元画像情報生成部２６で抽出されたパターン情報とを比
較、照合し、投影したパターンと撮影されたパターンと
の対応関係を決定する。続いて、反射パターン受光位置
と焦点距離の情報とから入射角を算出し、上記投影パタ
ーンの射出地点と被写体から反射されたパターンの受光
地点との間の距離間隔と光の射出角度の情報とから、三
角測量の原理によって奥行き値を算出する。
記パターンメモリ２１に記憶された投影パターンのコー
ド情報と、上記画像メモリ２５に書き込まれた上記２次
元画像情報生成部２６で抽出されたパターン情報とを比
較、照合し、投影したパターンと撮影されたパターンと
の対応関係を決定する。続いて、反射パターン受光位置
と焦点距離の情報とから入射角を算出し、上記投影パタ
ーンの射出地点と被写体から反射されたパターンの受光
地点との間の距離間隔と光の射出角度の情報とから、三
角測量の原理によって奥行き値を算出する。
【００４９】最後に、上記３次元画像生成部３におい
て、上記２次元画像情報生成部２６で生成された２次元
画像情報と、上記奥行き算出部２７で算出された奥行き
値とから、３次元画像を生成する。
て、上記２次元画像情報生成部２６で生成された２次元
画像情報と、上記奥行き算出部２７で算出された奥行き
値とから、３次元画像を生成する。
【００５０】上記投影されるパターンについて、図２を
用いて説明する。図２は、上記パターンメモリ２１に記
憶されたコード情報に従って被写体に投影されるコード
済みのカラーパターン４を示しており、更に、このカラ
ーパターン４の下には、Ｒ，Ｇ，Ｂ成分それぞれの輝度
値（階調値）を示してある。なお、この図２の例は縞パ
ターンであるが、格子パターンを用いても構わないこと
は勿論である。
用いて説明する。図２は、上記パターンメモリ２１に記
憶されたコード情報に従って被写体に投影されるコード
済みのカラーパターン４を示しており、更に、このカラ
ーパターン４の下には、Ｒ，Ｇ，Ｂ成分それぞれの輝度
値（階調値）を示してある。なお、この図２の例は縞パ
ターンであるが、格子パターンを用いても構わないこと
は勿論である。
【００５１】このパターン構造は、Ｒ，Ｇ，Ｂの各成分
に対して、極大（有彩色）と極小（黒）が交互に配置さ
れており、同図には、パターンの縞を識別するためのコ
ード番号を（１），（２），（３）で表している。ここ
で、コード番号ｋが割り当てられている縞のＲ，Ｇ，Ｂ
の各成分をそれぞれｒ［ｋ］，ｇ［ｋ］，ｂ［ｋ］で表
すと、図２の例では、各コード番号のＲ，Ｇ，Ｂの値を
次式のように表現することができる。なお、この値は、
Ｒ，Ｇ，Ｂをそれぞれ２５６階調とした場合である。
に対して、極大（有彩色）と極小（黒）が交互に配置さ
れており、同図には、パターンの縞を識別するためのコ
ード番号を（１），（２），（３）で表している。ここ
で、コード番号ｋが割り当てられている縞のＲ，Ｇ，Ｂ
の各成分をそれぞれｒ［ｋ］，ｇ［ｋ］，ｂ［ｋ］で表
すと、図２の例では、各コード番号のＲ，Ｇ，Ｂの値を
次式のように表現することができる。なお、この値は、
Ｒ，Ｇ，Ｂをそれぞれ２５６階調とした場合である。
【００５２】
（ｒ［１］，ｇ［１］，ｂ［１］）＝（８５，１７０，２５５）
（ｒ［２］，ｇ［２］，ｂ［２］）＝（１７０，２５５，８５）
（ｒ［３］，ｇ［３］，ｂ［３］）＝（２５５，８５，１７０）
この例は、以下に説明する特徴を持ったコード化パター
ンになっている。
ンになっている。
【００５３】コード番号の並び方を利用して、受光した
パターン中の縞を射出時のパターン中の縞に一意的に対
応づけることは、従来と同じであるが、本実施の形態で
は、縞の特徴づけに特長がある。
パターン中の縞を射出時のパターン中の縞に一意的に対
応づけることは、従来と同じであるが、本実施の形態で
は、縞の特徴づけに特長がある。
【００５４】まず、第１の特徴は、同一縞内における異
なる成分間の関係、例えば、縞の大小、縞の大きさの
比、色相などを用いて縞の特徴づけを行なっているもの
である。この同一縞内における色による特徴づけは、例
えば、以下の関係を用いて縞のコード番号を特定するこ
とができるコード化方法である。
なる成分間の関係、例えば、縞の大小、縞の大きさの
比、色相などを用いて縞の特徴づけを行なっているもの
である。この同一縞内における色による特徴づけは、例
えば、以下の関係を用いて縞のコード番号を特定するこ
とができるコード化方法である。
【００５５】
０≪ｒ［１］≪ｇ［１］≪ｂ［１］
０≪ｂ［２］≪ｒ［２］≪ｇ［２］
０≪ｇ［３］≪ｂ［３］≪ｒ［３］
ここで、記号≪は、ノイズの影響による大小関係の逆転
が無いぐらいに右辺が左辺よりも充分大きいということ
を示している。
が無いぐらいに右辺が左辺よりも充分大きいということ
を示している。
【００５６】第２の特徴は、異なる縞間における同一成
分の大小関係を用いて縞の特徴づけを行なっているもの
である。この同一成分の階調（輝度）による特徴づけ
は、例えば、以下の式の関係を用いて縞のコード番号を
特定することができるコード化方法である。
分の大小関係を用いて縞の特徴づけを行なっているもの
である。この同一成分の階調（輝度）による特徴づけ
は、例えば、以下の式の関係を用いて縞のコード番号を
特定することができるコード化方法である。
【００５７】
０≪ｒ［１］≪ｒ［２］≪ｒ［３］
０≪ｇ［３］≪ｇ［１］≪ｇ［２］
０≪ｂ［２］≪ｇ［３］≪ｇ［１］
これら２つの特徴を一つのパターン中に埋め込んだコー
ド化パターンを用いることが、本実施の形態の特長であ
る。
ド化パターンを用いることが、本実施の形態の特長であ
る。
【００５８】そして、この２重の特徴を埋め込んだコー
ド化パターンを、Ｒ，Ｇ，Ｂの３成分を共に反射してく
るような白色系や淡色系の被写体に対しては、上記第１
の特徴である色による特徴によって、パターン射出時の
縞の色（コード番号）を特定し、Ｒ，Ｇ，Ｂの１成分ま
たは２成分を反射するような濃色系の被写体に対して
は、上記第２の特徴である同一成分の階調による特徴に
よってパターン射出時の縞の色を特定するというふうに
使い分ける。
ド化パターンを、Ｒ，Ｇ，Ｂの３成分を共に反射してく
るような白色系や淡色系の被写体に対しては、上記第１
の特徴である色による特徴によって、パターン射出時の
縞の色（コード番号）を特定し、Ｒ，Ｇ，Ｂの１成分ま
たは２成分を反射するような濃色系の被写体に対して
は、上記第２の特徴である同一成分の階調による特徴に
よってパターン射出時の縞の色を特定するというふうに
使い分ける。
【００５９】なお、Ｒ，Ｇ，Ｂの３成分を共に反射して
くる白色系や淡色系の被写体に色相などの色による特徴
を用いてパターン射出時の縞を特定する方法を採用する
メリットは、次のように説明できる。Ｒ，Ｇ，Ｂの３成
分を色相Ｈ、彩度Ｓ、明度ＶからなるＨＳＶ空間にマッ
ピングして考える。その変換式として、次の式が知られ
ている。
くる白色系や淡色系の被写体に色相などの色による特徴
を用いてパターン射出時の縞を特定する方法を採用する
メリットは、次のように説明できる。Ｒ，Ｇ，Ｂの３成
分を色相Ｈ、彩度Ｓ、明度ＶからなるＨＳＶ空間にマッ
ピングして考える。その変換式として、次の式が知られ
ている。
【００６０】
Ｈ＝ａｒｃｔａｎ｛（Ｇ−Ｂ）／（２Ｒ−Ｇ−Ｂ）｝
Ｓ＝｛（Ｂ−Ｒ）２＋（Ｒ−Ｇ）２＋（Ｇ−Ｂ）２｝／３
Ｖ＝Ｒ＋Ｇ＋Ｂ
仮にＲ，Ｇ，Ｂの値が、それぞれｋ倍になったとする。
このとき、彩度Ｓはｋ２倍、明度Ｖはｋ倍になってしま
うが、色相Ｈは不変である。即ち、各成分の輝度値が、
局所領域毎にそろって定数倍になる状況を想定すると、
色相の判定方法は、その影響を受けないが、輝度の階調
による判定方法は、影響が大きい。なお、ＨＳＶ空間で
なく、均等色空間（ＨＣＶ）に変換してもほぼ同様のこ
とが言える。
このとき、彩度Ｓはｋ２倍、明度Ｖはｋ倍になってしま
うが、色相Ｈは不変である。即ち、各成分の輝度値が、
局所領域毎にそろって定数倍になる状況を想定すると、
色相の判定方法は、その影響を受けないが、輝度の階調
による判定方法は、影響が大きい。なお、ＨＳＶ空間で
なく、均等色空間（ＨＣＶ）に変換してもほぼ同様のこ
とが言える。
【００６１】ところで、縞にコード番号を割り当てた場
合に、各縞を縞の並びに対して一意的に特定するため
に、本実施の形態では、最低階調レベル（最小輝度レベ
ル）である黒縞を挟んで隣り合う有彩色縞のコード番号
の並びが、一意的となるようなコード系列（コードの並
び）を生成する。
合に、各縞を縞の並びに対して一意的に特定するため
に、本実施の形態では、最低階調レベル（最小輝度レベ
ル）である黒縞を挟んで隣り合う有彩色縞のコード番号
の並びが、一意的となるようなコード系列（コードの並
び）を生成する。
【００６２】例えば、３色の色数（コードの種類）を用
いた場合に、黒縞を挟んで隣り合う有彩色縞の（同色を
許した）組み合わせを考えると、（１）（２）（２）
（３）（１）（３）（３）（２）（１）というコード系
列ができる。更に長いコード系列が必要ならば、色数を
４乃至５色に増やす、または、２本の縞の組み合わせで
なく、３乃至４本の縞の色（コード番号）の組み合わせ
が一意的となるようなコード系列を採用すればよい。
いた場合に、黒縞を挟んで隣り合う有彩色縞の（同色を
許した）組み合わせを考えると、（１）（２）（２）
（３）（１）（３）（３）（２）（１）というコード系
列ができる。更に長いコード系列が必要ならば、色数を
４乃至５色に増やす、または、２本の縞の組み合わせで
なく、３乃至４本の縞の色（コード番号）の組み合わせ
が一意的となるようなコード系列を採用すればよい。
【００６３】このような２重の特徴を埋め込んだコード
化パターンは、従来から知られている縞と縞の間の検出
法にも利用することができることは勿論であるが、本実
施の形態のような装置と組み合わせる事で、より効果を
発揮できるものである。
化パターンは、従来から知られている縞と縞の間の検出
法にも利用することができることは勿論であるが、本実
施の形態のような装置と組み合わせる事で、より効果を
発揮できるものである。
【００６４】次に、画像処理の流れについて図３を用い
て説明する。まず、コード化済みのカラーパターン４を
被写体に投影する（ステップＳ１）。次に、投影された
パターンを撮影し、その画像データ（Ｐｒ，Ｐｇ，Ｐ
ｂ）を上記画像メモリ２５に入力する（ステップＳ
２）。
て説明する。まず、コード化済みのカラーパターン４を
被写体に投影する（ステップＳ１）。次に、投影された
パターンを撮影し、その画像データ（Ｐｒ，Ｐｇ，Ｐ
ｂ）を上記画像メモリ２５に入力する（ステップＳ
２）。
【００６５】続いて、パターン無しのフラッシュ撮影を
行ない、その画像データ（Ｆｒ，Ｆｇ，Ｆｂ）を上記画
像メモリ２５に入力する（ステップＳ３）。
行ない、その画像データ（Ｆｒ，Ｆｇ，Ｆｂ）を上記画
像メモリ２５に入力する（ステップＳ３）。
【００６６】そして、パターン無しフラッシュ無しの撮
影を行ない、その画像データ（Ｎｒ，Ｎｇ，Ｎｂ）を上
記画像メモリ２５に入力する（ステップＳ４）。これら
ステップＳ１からステップＳ４までの一連の処理は、一
瞬のうちに行なわれ、必要な情報の入力が完了する。
影を行ない、その画像データ（Ｎｒ，Ｎｇ，Ｎｂ）を上
記画像メモリ２５に入力する（ステップＳ４）。これら
ステップＳ１からステップＳ４までの一連の処理は、一
瞬のうちに行なわれ、必要な情報の入力が完了する。
【００６７】この後、上記２次元画像情報生成部２６に
おいて、上記画像メモリ２５に入力した情報からパター
ンの縞構造を抽出し、各縞に対して当該縞の射出時の色
を特定し、デコード処理を実施していくことになるが、
それぞれの処理を以下に詳しく説明する。
おいて、上記画像メモリ２５に入力した情報からパター
ンの縞構造を抽出し、各縞に対して当該縞の射出時の色
を特定し、デコード処理を実施していくことになるが、
それぞれの処理を以下に詳しく説明する。
【００６８】まず、パターン像から、外光や被写体の表
面反射率特性の違いによる影響を取り除き、射出時のパ
ターンを推定する処理を施す。ここで、図４を用いて、
この処理に必要な関係式を説明する。図４のように、フ
ラッシュの投光強度をＬ、パターンの透過率をＴ、被写
体の表面反射率をＲ、外光の強度をＳとし、これらを受
光した画像の各画素の関数として考える。ここで、上記
パターン切り替え部２３から射出した光線と上記受光部
２４２に入射する光線が、光の拡散などを無視して１対
１の関係で記述できると近似して考えれば、 投影パターン撮影画像の画素強度Ｐ＝Ｒ（ＴＬ＋Ｓ） フラッシュ撮影画像の画素強度Ｆ＝Ｒ（Ｌ＋Ｓ） フラッシュ無し撮影画像の画素強度Ｎ＝ＲＳ と書くことができる。これら３式を連立させてＴについ
て解くと Ｔ＝（Ｐ−Ｎ）／（Ｆ−Ｎ） 例えば、Ｒ，Ｇ，Ｂの３成分に対して画素強度値が得ら
れる場合には、Ｒ，Ｇ，Ｂが互いに独立であると近似し
て考えれば、Ｒ，Ｇ，Ｂに対する推定パターン透過率Ｔ
ｒ，Ｔｇ，Ｔｂは、 Ｔｒ＝（Ｐｒ−Ｎｒ）／（Ｆｒ−Ｎｒ） Ｔｇ＝（Ｐｇ−Ｎｇ）／（Ｆｇ−Ｎｇ） Ｔｂ＝（Ｐｂ−Ｎｂ）／（Ｆｂ−Ｎｂ） という式によって求められる。ただし、ノイズなどの影
響に対処するため、分母がゼロに近い場合には、その成
分を除いて考える必要がある。
面反射率特性の違いによる影響を取り除き、射出時のパ
ターンを推定する処理を施す。ここで、図４を用いて、
この処理に必要な関係式を説明する。図４のように、フ
ラッシュの投光強度をＬ、パターンの透過率をＴ、被写
体の表面反射率をＲ、外光の強度をＳとし、これらを受
光した画像の各画素の関数として考える。ここで、上記
パターン切り替え部２３から射出した光線と上記受光部
２４２に入射する光線が、光の拡散などを無視して１対
１の関係で記述できると近似して考えれば、 投影パターン撮影画像の画素強度Ｐ＝Ｒ（ＴＬ＋Ｓ） フラッシュ撮影画像の画素強度Ｆ＝Ｒ（Ｌ＋Ｓ） フラッシュ無し撮影画像の画素強度Ｎ＝ＲＳ と書くことができる。これら３式を連立させてＴについ
て解くと Ｔ＝（Ｐ−Ｎ）／（Ｆ−Ｎ） 例えば、Ｒ，Ｇ，Ｂの３成分に対して画素強度値が得ら
れる場合には、Ｒ，Ｇ，Ｂが互いに独立であると近似し
て考えれば、Ｒ，Ｇ，Ｂに対する推定パターン透過率Ｔ
ｒ，Ｔｇ，Ｔｂは、 Ｔｒ＝（Ｐｒ−Ｎｒ）／（Ｆｒ−Ｎｒ） Ｔｇ＝（Ｐｇ−Ｎｇ）／（Ｆｇ−Ｎｇ） Ｔｂ＝（Ｐｂ−Ｎｂ）／（Ｆｂ−Ｎｂ） という式によって求められる。ただし、ノイズなどの影
響に対処するため、分母がゼロに近い場合には、その成
分を除いて考える必要がある。
【００６９】ここで図３に戻り、画像処理の流れの説明
を再開する。即ち、ステップＳ５で、上式の分母、即ち
（Ｆｉ−Ｎｉ）（ここでｉ＝ｒ，ｇ，ｂ）が、予め設定
してあるノイズレベル以上であるか否かを判定し、ノイ
ズレベル以上であるならば、その成分の推定パターン透
過率Ｔｉを上式を用いて算出する（ステップＳ６）。こ
れに対して、ノイズレベル未満であれば、その成分の推
定パターン透過率を不定とし、以後の処理に影響を与え
ないような値を入力しておく（ステップＳ７）。
を再開する。即ち、ステップＳ５で、上式の分母、即ち
（Ｆｉ−Ｎｉ）（ここでｉ＝ｒ，ｇ，ｂ）が、予め設定
してあるノイズレベル以上であるか否かを判定し、ノイ
ズレベル以上であるならば、その成分の推定パターン透
過率Ｔｉを上式を用いて算出する（ステップＳ６）。こ
れに対して、ノイズレベル未満であれば、その成分の推
定パターン透過率を不定とし、以後の処理に影響を与え
ないような値を入力しておく（ステップＳ７）。
【００７０】次に、パターンの縞構造（Ｔｉのグラフの
極大、極小位置）を検出する（ステップＳ８）。これに
は、例えばＳｏｂｅｌフィルタなどにより、縞のエッジ
部分を抽出し、エッジに挟まれた区間で、Ｔｉの強度が
極大となるか、極小となるかを判定する。この縞構造の
抽出処理においても投影パターン撮影画像Ｐｉでなく、
推定パターン透過率Ｔｉを用いているので、外光や被写
体の表面反射率特性の違いによる影響を大幅に緩和する
ことができる。
極大、極小位置）を検出する（ステップＳ８）。これに
は、例えばＳｏｂｅｌフィルタなどにより、縞のエッジ
部分を抽出し、エッジに挟まれた区間で、Ｔｉの強度が
極大となるか、極小となるかを判定する。この縞構造の
抽出処理においても投影パターン撮影画像Ｐｉでなく、
推定パターン透過率Ｔｉを用いているので、外光や被写
体の表面反射率特性の違いによる影響を大幅に緩和する
ことができる。
【００７１】続いて、エッジに挟まれた区間に対して、
当該縞の射出時の色を特定する処理に移る。
当該縞の射出時の色を特定する処理に移る。
【００７２】即ち、まず、（Ｆｉ−Ｎｉ）（ここでｉ＝
ｒ，ｇ，ｂ）がノイズレベル以上となる成分数を調べる
（ステップＳ９）。
ｒ，ｇ，ｂ）がノイズレベル以上となる成分数を調べる
（ステップＳ９）。
【００７３】ここで、成分数が０であれば、その領域の
３次元形状は推定できないことになる（ステップＳ１
０）。これは、黒色の被写体の場合である。
３次元形状は推定できないことになる（ステップＳ１
０）。これは、黒色の被写体の場合である。
【００７４】もし、ノイズレベル以上となる成分数が１
であれば、１成分のみ反射する領域において、推定パタ
ーン透過率Ｔｉのヒストグラムを作成する（ステップＳ
１１）。このヒストグラムに対し、例えば、判別分析の
手法により、ヒストグラムをパターン作成時の階調数、
例えば本実施の形態では３分割に分割するような閾値を
自動的に設定する（ステップＳ１２）。次に、上記ステ
ップＳ１２で設定した閾値を用いて、推定パターン透過
率Ｔｉの階調を判定する（ステップＳ１３）。そして、
上記判別した推定パターン透過率Ｔｉの階調によって当
該縞の射出時の色を特定し、コード番号を推定する（ス
テップＳ１４）。
であれば、１成分のみ反射する領域において、推定パタ
ーン透過率Ｔｉのヒストグラムを作成する（ステップＳ
１１）。このヒストグラムに対し、例えば、判別分析の
手法により、ヒストグラムをパターン作成時の階調数、
例えば本実施の形態では３分割に分割するような閾値を
自動的に設定する（ステップＳ１２）。次に、上記ステ
ップＳ１２で設定した閾値を用いて、推定パターン透過
率Ｔｉの階調を判定する（ステップＳ１３）。そして、
上記判別した推定パターン透過率Ｔｉの階調によって当
該縞の射出時の色を特定し、コード番号を推定する（ス
テップＳ１４）。
【００７５】また、ノイズレベル以上となる成分数が２
であれば、その２成分の推定パターン透過率Ｔｉの大き
さを比較する（ステップＳ１５）。次に、２成分の推定
パターン透過率Ｔｉの和を算出し、２成分を反射する領
域における和の値のヒストグラムを作成する（ステップ
Ｓ１６）。次に、例えば判別分析の手法により、ヒスト
グラムを２分割するような閾値を自動的に設定する（ス
テップＳ１７）。その後、この設定した閾値を用いて、
２成分の推定パターン透過率Ｔｉの和の階調を判定する
（ステップＳ１８）。そして、２成分の推定パターン透
過率Ｔｉ間の大小関係及び２成分の推定パターン透過率
Ｔｉの和に対する階調値によって、当該縞の射出時の色
を特定し、コード番号を推定する（ステップＳ１９）。
であれば、その２成分の推定パターン透過率Ｔｉの大き
さを比較する（ステップＳ１５）。次に、２成分の推定
パターン透過率Ｔｉの和を算出し、２成分を反射する領
域における和の値のヒストグラムを作成する（ステップ
Ｓ１６）。次に、例えば判別分析の手法により、ヒスト
グラムを２分割するような閾値を自動的に設定する（ス
テップＳ１７）。その後、この設定した閾値を用いて、
２成分の推定パターン透過率Ｔｉの和の階調を判定する
（ステップＳ１８）。そして、２成分の推定パターン透
過率Ｔｉ間の大小関係及び２成分の推定パターン透過率
Ｔｉの和に対する階調値によって、当該縞の射出時の色
を特定し、コード番号を推定する（ステップＳ１９）。
【００７６】更に、ノイズレベル以上となる成分数が３
であれば、３成分の（２５５＊Ｔｉ）の値から色相を算
出し（ステップＳ２０）、算出された色相が射出時の色
相のどれに最も近いかを判定し、当該縞の射出時の色を
特定し、コード番号を推定する（ステップＳ２１）。な
お、色相で縞の色を特定する代わりに、例えば、３成分
間の比または大小関係を利用してもよい。
であれば、３成分の（２５５＊Ｔｉ）の値から色相を算
出し（ステップＳ２０）、算出された色相が射出時の色
相のどれに最も近いかを判定し、当該縞の射出時の色を
特定し、コード番号を推定する（ステップＳ２１）。な
お、色相で縞の色を特定する代わりに、例えば、３成分
間の比または大小関係を利用してもよい。
【００７７】この手続きを最大視差の区間内の画素に対
して行なうことで、コード番号の列が推定され、その推
定結果が、この２次元画像情報生成部２６で抽出された
上記パターン情報として、上記画像メモリ２５に書き込
まれる。
して行なうことで、コード番号の列が推定され、その推
定結果が、この２次元画像情報生成部２６で抽出された
上記パターン情報として、上記画像メモリ２５に書き込
まれる。
【００７８】次に、上記奥行き算出部２７において、こ
のパターン情報におけるコード番号の列と、上記パター
ンメモリ２１に記憶されているコード系列とを比較、照
合する。本実施の形態では、黒縞を挟んで隣り合う有彩
色縞の組み合わせが一致しているものを探す。上記推定
されたコード番号の列における黒縞を挟んで隣り合う有
彩色縞の組み合わせと一致するコード系列が複数ある場
合には、例えば、上記推定されたコード番号の列と連続
して一致するコード番号との長さが最大のコード系列を
信頼性が高いとして選択する。この処理を繰り返すこと
によって、デコード処理が完了し、投光パターンと受光
パターンとの各縞に対して、１対１の対応関係が定ま
る。最後に、三角測量の原理から被写体の各点での奥行
き値が算出される。
のパターン情報におけるコード番号の列と、上記パター
ンメモリ２１に記憶されているコード系列とを比較、照
合する。本実施の形態では、黒縞を挟んで隣り合う有彩
色縞の組み合わせが一致しているものを探す。上記推定
されたコード番号の列における黒縞を挟んで隣り合う有
彩色縞の組み合わせと一致するコード系列が複数ある場
合には、例えば、上記推定されたコード番号の列と連続
して一致するコード番号との長さが最大のコード系列を
信頼性が高いとして選択する。この処理を繰り返すこと
によって、デコード処理が完了し、投光パターンと受光
パターンとの各縞に対して、１対１の対応関係が定ま
る。最後に、三角測量の原理から被写体の各点での奥行
き値が算出される。
【００７９】以上説明したように本実施の形態によれ
ば、濃色系の被写体においても射出時の縞の色を推定可
能なパターンを提供しているので、白色系または淡色系
だけでなく濃色系の被写体に対してまで３次元形状を取
得することができ、被写体の色に関する制約を緩めるこ
とができる効果がある。
ば、濃色系の被写体においても射出時の縞の色を推定可
能なパターンを提供しているので、白色系または淡色系
だけでなく濃色系の被写体に対してまで３次元形状を取
得することができ、被写体の色に関する制約を緩めるこ
とができる効果がある。
【００８０】即ち、図９に示したような従来例では、例
えば、赤い被写体上に、Ｒ成分の強度変化がないパター
ン領域（ＧまたはＢの強度変化があるパターン領域）が
投射された場合に縞と縞の間の変化を検出できず、その
部分に対して３次元形状の取得ができないという問題が
あった。これに対し、本実施の形態によれば、縞と縞の
間ではＲ，Ｇ，Ｂ全ての成分値が必ず変化しているの
で、黒以外のどんな被写体にパターンが投影されても、
縞と縞の間の変化を必ず検出することができ、３次元形
状の取得ができない領域を減らす効果がある。勿論、本
実施の形態のようなコード済みのカラーパターン４を用
い、従来から知られている縞と縞の間の検出法を適用す
ることによっても、この効果を得ることができるが、本
実施の形態のような装置と組み合わせる事で、より効果
を発揮できる。
えば、赤い被写体上に、Ｒ成分の強度変化がないパター
ン領域（ＧまたはＢの強度変化があるパターン領域）が
投射された場合に縞と縞の間の変化を検出できず、その
部分に対して３次元形状の取得ができないという問題が
あった。これに対し、本実施の形態によれば、縞と縞の
間ではＲ，Ｇ，Ｂ全ての成分値が必ず変化しているの
で、黒以外のどんな被写体にパターンが投影されても、
縞と縞の間の変化を必ず検出することができ、３次元形
状の取得ができない領域を減らす効果がある。勿論、本
実施の形態のようなコード済みのカラーパターン４を用
い、従来から知られている縞と縞の間の検出法を適用す
ることによっても、この効果を得ることができるが、本
実施の形態のような装置と組み合わせる事で、より効果
を発揮できる。
【００８１】また、本実施の形態によれば、蛍光灯また
は電球など、様々な色の外光の下でも、または、表面反
射率特性が異なる種々の被写体に対しても、パターン付
きフラッシュ撮影画像、パターン無しフラッシュ撮影画
像及びパターン無しフラッシュ無し撮影画像の３種類の
画像を用いることによって、パターンの射出時の色をよ
り正確に確定することができ、３次元計測の誤りを少な
くできる効果がある。
は電球など、様々な色の外光の下でも、または、表面反
射率特性が異なる種々の被写体に対しても、パターン付
きフラッシュ撮影画像、パターン無しフラッシュ撮影画
像及びパターン無しフラッシュ無し撮影画像の３種類の
画像を用いることによって、パターンの射出時の色をよ
り正確に確定することができ、３次元計測の誤りを少な
くできる効果がある。
【００８２】更に、本実施の形態によれば、縞と縞との
間ではＲ，Ｇ，Ｂ全ての成分値が必ず変化しているの
で、黒以外のどんな被写体にパターンが投影されても、
縞と縞との間の変化を必ず検出することができ、３次元
形状の取得ができない領域を減らす効果がある。
間ではＲ，Ｇ，Ｂ全ての成分値が必ず変化しているの
で、黒以外のどんな被写体にパターンが投影されても、
縞と縞との間の変化を必ず検出することができ、３次元
形状の取得ができない領域を減らす効果がある。
【００８３】また、本実施の形態によれば、Ｒ，Ｇ，Ｂ
全ての成分値が、極大、極小となる区間または領域を交
互に配置しているので、縞と縞との境界で変曲点を許す
ようなパターン構造に比べて、縞と縞との境界を容易に
検出できる効果がある。更に、光の拡散によって縞と縞
との境界が消失してしまう危険性を減らす効果もある。
全ての成分値が、極大、極小となる区間または領域を交
互に配置しているので、縞と縞との境界で変曲点を許す
ようなパターン構造に比べて、縞と縞との境界を容易に
検出できる効果がある。更に、光の拡散によって縞と縞
との境界が消失してしまう危険性を減らす効果もある。
【００８４】［第２の実施の形態］次に、本発明の第２
の実施の形態を説明する。本第２の実施の形態は、方法
部分は、上記第１の実施の形態で用いた３次元情報取得
方法と同じであるが、装置構成が異なる。
の実施の形態を説明する。本第２の実施の形態は、方法
部分は、上記第１の実施の形態で用いた３次元情報取得
方法と同じであるが、装置構成が異なる。
【００８５】即ち、本第２の実施の形態に係る３次元情
報取得装置２は、図５に示すように、被写体に投光する
パターンを記憶しておくパターンメモリ２１、光を照射
するためのストロボ２２、場所によって光の強度（透過
率）を変調するパターンの有無を切り替えるパターン切
り替え部２３、反射された光を集光する集光レンズ２４
１Ｒ及び２４１Ｌ、これら集光レンズ２４１Ｒ及び２４
１Ｌで集光された光を受光する受光部２４２Ｒ及び５２
４２、撮影された画像を記憶する画像メモリ２５Ｒ及び
２５Ｌ、これら画像メモリ２５Ｒ及び２５Ｌに記憶され
た画像から２次元画像情報を生成する２次元画像情報生
成部２６、上記画像メモリ２５Ｒ及び２５Ｌに記憶され
た画像と上記パターンメモリ２１に記憶されたパターン
との対応を決定する対応関係決定部２９、該対応関係決
定部２９で決定された対応関係から三角測量の原理を用
いて奥行き値を算出する奥行き算出部２７、及び上記ス
トロボ２２、パターン切り替え部２３、受光部２４２
Ｒ，２４２Ｌを制御する制御部２８から構成されてい
る。
報取得装置２は、図５に示すように、被写体に投光する
パターンを記憶しておくパターンメモリ２１、光を照射
するためのストロボ２２、場所によって光の強度（透過
率）を変調するパターンの有無を切り替えるパターン切
り替え部２３、反射された光を集光する集光レンズ２４
１Ｒ及び２４１Ｌ、これら集光レンズ２４１Ｒ及び２４
１Ｌで集光された光を受光する受光部２４２Ｒ及び５２
４２、撮影された画像を記憶する画像メモリ２５Ｒ及び
２５Ｌ、これら画像メモリ２５Ｒ及び２５Ｌに記憶され
た画像から２次元画像情報を生成する２次元画像情報生
成部２６、上記画像メモリ２５Ｒ及び２５Ｌに記憶され
た画像と上記パターンメモリ２１に記憶されたパターン
との対応を決定する対応関係決定部２９、該対応関係決
定部２９で決定された対応関係から三角測量の原理を用
いて奥行き値を算出する奥行き算出部２７、及び上記ス
トロボ２２、パターン切り替え部２３、受光部２４２
Ｒ，２４２Ｌを制御する制御部２８から構成されてい
る。
【００８６】そして、このような３次元情報取得装置２
と共に３次元形状測定装置１を構成する３次元画像生成
部３は、上記２次元画像情報生成部２６に記憶された２
次元画像情報と上記奥行き算出部２７で算出された奥行
き値とから３次元画像を生成するようになっている。
と共に３次元形状測定装置１を構成する３次元画像生成
部３は、上記２次元画像情報生成部２６に記憶された２
次元画像情報と上記奥行き算出部２７で算出された奥行
き値とから３次元画像を生成するようになっている。
【００８７】次に、このような本第２の実施の形態に係
る３次元情報取得装置２の動作について説明する。
る３次元情報取得装置２の動作について説明する。
【００８８】まず、上記制御部２８により上記ストロボ
２２を発光し、上記パターン切り替え部２３で光を変調
して被写体（図示せず）にパターンを投影する。この投
影像は、２つの異なる位置、例えば上記ストロボ２２及
びパターン切り替え部２３の右と左に配置された集光用
レンズ２４１Ｒ及び２４１Ｌによって集光される。続い
て、集光された光は、それぞれ受光部２４２Ｒ、２４２
Ｌで受光され、各々、画像メモリ２５Ｒ、２５Ｌに記憶
される。パターン無しフラッシュ撮影画像とパターン無
しフラッシュ無し撮影画像についてもそれぞれ同様にし
て画像メモリ２５Ｒ、２５Ｌに記憶される。上記第１の
実施の形態との違いは、これら３種類の画像が、視点の
異なる２個所の画像メモリに書き込まれている点であ
る。
２２を発光し、上記パターン切り替え部２３で光を変調
して被写体（図示せず）にパターンを投影する。この投
影像は、２つの異なる位置、例えば上記ストロボ２２及
びパターン切り替え部２３の右と左に配置された集光用
レンズ２４１Ｒ及び２４１Ｌによって集光される。続い
て、集光された光は、それぞれ受光部２４２Ｒ、２４２
Ｌで受光され、各々、画像メモリ２５Ｒ、２５Ｌに記憶
される。パターン無しフラッシュ撮影画像とパターン無
しフラッシュ無し撮影画像についてもそれぞれ同様にし
て画像メモリ２５Ｒ、２５Ｌに記憶される。上記第１の
実施の形態との違いは、これら３種類の画像が、視点の
異なる２個所の画像メモリに書き込まれている点であ
る。
【００８９】そして、上記第１の実施の形態における場
合と同様に、上記２次元画像情報生成部２６で左右それ
ぞれについて３種類の画像から、射出時の推定パターン
情報を算出し、画像メモリ２５Ｒ及び２５Ｌに書き込
む。
合と同様に、上記２次元画像情報生成部２６で左右それ
ぞれについて３種類の画像から、射出時の推定パターン
情報を算出し、画像メモリ２５Ｒ及び２５Ｌに書き込
む。
【００９０】次に、上記対応関係決定部２９において、
上記パターンメモリ２１に記憶されたパターン情報と上
記画像メモリ２５Ｒに書き込んだ右の推定パターン情
報、上記パターンメモリ２１に記憶されたパターン情報
と上記画像メモリ２５Ｌに書き込んだ左の推定パターン
情報、上記右の画像メモリ２５Ｒに書き込んだパターン
情報と上記左の画像メモリ２５Ｌに書き込んだパターン
情報の推定パターン情報、及び上記右の受光部２４２Ｒ
と上記左の受光部２４２Ｌとで受光したパターン無しフ
ラッシュ投影画像、の４通りの対応づけが行なわれる。
上記パターンメモリ２１に記憶されたパターン情報と上
記画像メモリ２５Ｒに書き込んだ右の推定パターン情
報、上記パターンメモリ２１に記憶されたパターン情報
と上記画像メモリ２５Ｌに書き込んだ左の推定パターン
情報、上記右の画像メモリ２５Ｒに書き込んだパターン
情報と上記左の画像メモリ２５Ｌに書き込んだパターン
情報の推定パターン情報、及び上記右の受光部２４２Ｒ
と上記左の受光部２４２Ｌとで受光したパターン無しフ
ラッシュ投影画像、の４通りの対応づけが行なわれる。
【００９１】このとき、パッシブステレオ法の場合に問
題となるテクスチャの無い領域への対応づけの困難さが
かなり軽減されている。
題となるテクスチャの無い領域への対応づけの困難さが
かなり軽減されている。
【００９２】更に、上記第１の実施の形態においては、
投影したパターンと撮影されたパターンとの対応関係を
奥行き値算出の手がかりとしたが、本実施の形態におい
ては、左右のパターン無し画像及びパターン有り画像の
対応関係をも利用できるので、より信頼性の高い対応づ
けを実現できる。
投影したパターンと撮影されたパターンとの対応関係を
奥行き値算出の手がかりとしたが、本実施の形態におい
ては、左右のパターン無し画像及びパターン有り画像の
対応関係をも利用できるので、より信頼性の高い対応づ
けを実現できる。
【００９３】以上説明したように本第２の実施の形態に
よれば、２つ以上の視点に置かれた撮像素子でパターン
の投影像を取得し、投影したパターンと撮影されたパタ
ーンとの対応づけだけでなく、複数画像間の対応づけも
行なうため、より正確な対応づけが可能となり、計測精
度と信頼性が向上する効果がある。
よれば、２つ以上の視点に置かれた撮像素子でパターン
の投影像を取得し、投影したパターンと撮影されたパタ
ーンとの対応づけだけでなく、複数画像間の対応づけも
行なうため、より正確な対応づけが可能となり、計測精
度と信頼性が向上する効果がある。
【００９４】［第３の実施の形態］次に、本発明の第３
の実施の形態を説明する。
の実施の形態を説明する。
【００９５】本第３の実施の形態の装置構成について
は、前述の第１の実施の形態あるいは第２の実施の形態
のそれと同様である。異なる点は、高速シャッタ（例え
ば、１／５００秒）で撮影することによって外光の影響
を抑える点である。これによって、パターン無しフラッ
シュ無し撮影を省くことが可能になるので、投影パター
ン撮影とパターン無しフラッシュ撮影との２回で画像の
取り込みが完了する。
は、前述の第１の実施の形態あるいは第２の実施の形態
のそれと同様である。異なる点は、高速シャッタ（例え
ば、１／５００秒）で撮影することによって外光の影響
を抑える点である。これによって、パターン無しフラッ
シュ無し撮影を省くことが可能になるので、投影パター
ン撮影とパターン無しフラッシュ撮影との２回で画像の
取り込みが完了する。
【００９６】これに伴って、処理の流れが前述の第１の
実施の形態等よりも、少し簡素化される。図６を用い
て、これを説明する。
実施の形態等よりも、少し簡素化される。図６を用い
て、これを説明する。
【００９７】まず、コード化済みのカラーパターン４を
被写体に投影する（ステップＳ１）。次に、投影された
パターンを撮影し、その画像データ（Ｐｒ，Ｐｇ，Ｐ
ｂ）を上記画像メモリ２５に入力する（ステップＳ
２）。
被写体に投影する（ステップＳ１）。次に、投影された
パターンを撮影し、その画像データ（Ｐｒ，Ｐｇ，Ｐ
ｂ）を上記画像メモリ２５に入力する（ステップＳ
２）。
【００９８】続いて、パターン無しのフラッシュ撮影を
行ない、その画像データ（Ｆｒ，Ｆｇ，Ｆｂ）を上記画
像メモリ２５に入力する（ステップＳ３）。これらステ
ップＳ１からステップＳ３までの一連の処理は、一瞬の
うちに行なわれ、必要な情報の入力が完了する。
行ない、その画像データ（Ｆｒ，Ｆｇ，Ｆｂ）を上記画
像メモリ２５に入力する（ステップＳ３）。これらステ
ップＳ１からステップＳ３までの一連の処理は、一瞬の
うちに行なわれ、必要な情報の入力が完了する。
【００９９】この後、上記２次元画像情報生成部２６に
おいて、上記画像メモリ２５に入力した情報からパター
ンの縞構造を抽出し、各縞に対して当該縞の射出時の色
を特定し、デコード処理を実施していくことになるが、
それぞれの処理を以下に詳しく説明する。
おいて、上記画像メモリ２５に入力した情報からパター
ンの縞構造を抽出し、各縞に対して当該縞の射出時の色
を特定し、デコード処理を実施していくことになるが、
それぞれの処理を以下に詳しく説明する。
【０１００】まず、パターン像から、外光や被写体の表
面反射率特性の違いによる影響を取り除き、射出時のパ
ターンを推定する処理を施す。ここで、図４を用いて、
この処理に必要な関係式を説明する。図４のように、フ
ラッシュの投光強度をＬ、パターンの透過率をＴ、被写
体の表面反射率をＲ、外光の強度をＳとし、これらを受
光した画像の各画素の関数として考える。ここで、上記
パターン切り替え部２３から射出した光線と上記受光部
２４２に入射する光線が、光の拡散などを無視して１対
１の関係で記述できると近似して考えれば、 投影パターン撮影画像の画素強度Ｐ＝Ｒ（ＴＬ＋Ｓ） フラッシュ撮影画像の画素強度Ｆ＝Ｒ（Ｌ＋Ｓ） と書くことができる。本第３の実施の形態においては、
高速シャッタで撮影するので、Ｓを近似的に０とみなす
ことができる。この時、これら２式を連立させＴについ
て解くと Ｔ＝Ｐ／Ｆ 例えば、Ｒ，Ｇ，Ｂの３成分に対して画素強度値が得ら
れる場合には、Ｒ，Ｇ，Ｂが互いに独立であると近似し
て考えれば、Ｒ，Ｇ，Ｂに対する推定パターン透過率Ｔ
ｒ，Ｔｇ，Ｔｂは、 Ｔｒ＝Ｐｒ／Ｆｒ Ｔｇ＝Ｐｇ／Ｆｇ Ｔｂ＝Ｐｂ／Ｆｂ という式によって求められる。ただし、ノイズなどの影
響に対処するため、分母がゼロに近い場合には、その成
分を除いて考える必要がある。
面反射率特性の違いによる影響を取り除き、射出時のパ
ターンを推定する処理を施す。ここで、図４を用いて、
この処理に必要な関係式を説明する。図４のように、フ
ラッシュの投光強度をＬ、パターンの透過率をＴ、被写
体の表面反射率をＲ、外光の強度をＳとし、これらを受
光した画像の各画素の関数として考える。ここで、上記
パターン切り替え部２３から射出した光線と上記受光部
２４２に入射する光線が、光の拡散などを無視して１対
１の関係で記述できると近似して考えれば、 投影パターン撮影画像の画素強度Ｐ＝Ｒ（ＴＬ＋Ｓ） フラッシュ撮影画像の画素強度Ｆ＝Ｒ（Ｌ＋Ｓ） と書くことができる。本第３の実施の形態においては、
高速シャッタで撮影するので、Ｓを近似的に０とみなす
ことができる。この時、これら２式を連立させＴについ
て解くと Ｔ＝Ｐ／Ｆ 例えば、Ｒ，Ｇ，Ｂの３成分に対して画素強度値が得ら
れる場合には、Ｒ，Ｇ，Ｂが互いに独立であると近似し
て考えれば、Ｒ，Ｇ，Ｂに対する推定パターン透過率Ｔ
ｒ，Ｔｇ，Ｔｂは、 Ｔｒ＝Ｐｒ／Ｆｒ Ｔｇ＝Ｐｇ／Ｆｇ Ｔｂ＝Ｐｂ／Ｆｂ という式によって求められる。ただし、ノイズなどの影
響に対処するため、分母がゼロに近い場合には、その成
分を除いて考える必要がある。
【０１０１】そこで図６に戻るが、ステップＳ３１で、
上式の分母、即ちＦｉ（ここでｉ＝ｒ，ｇ，ｂ）が、予
め設定してあるノイズレベル以上か否かを判定し、そう
であれば、その成分の推定パターン透過率Ｔｉを上式を
用いて算出する（ステップＳ３２）。これに対して、ノ
イズレベル未満であれば、その成分の推定パターン透過
率を不定とし、以後の処理に影響を与えないような値を
入力しておく（ステップＳ７）。
上式の分母、即ちＦｉ（ここでｉ＝ｒ，ｇ，ｂ）が、予
め設定してあるノイズレベル以上か否かを判定し、そう
であれば、その成分の推定パターン透過率Ｔｉを上式を
用いて算出する（ステップＳ３２）。これに対して、ノ
イズレベル未満であれば、その成分の推定パターン透過
率を不定とし、以後の処理に影響を与えないような値を
入力しておく（ステップＳ７）。
【０１０２】次に、パターンの縞構造（Ｔｉのグラフの
極大、極小位置）を検出する（ステップＳ８）。これに
は、例えばＳｏｂｅｌフィルタなどにより、縞のエッジ
部分を抽出し、エッジに挟まれた区間で、Ｔｉの強度が
極大となるか、極小となるかを判定する。この縞構造の
抽出処理においても投影パターン撮影画像Ｐｉでなく、
推定パターン透過率Ｔｉを用いているので、外光や被写
体の表面反射率特性の違いによる影響を大幅に緩和する
ことができ、縞を安定して抽出することができる。
極大、極小位置）を検出する（ステップＳ８）。これに
は、例えばＳｏｂｅｌフィルタなどにより、縞のエッジ
部分を抽出し、エッジに挟まれた区間で、Ｔｉの強度が
極大となるか、極小となるかを判定する。この縞構造の
抽出処理においても投影パターン撮影画像Ｐｉでなく、
推定パターン透過率Ｔｉを用いているので、外光や被写
体の表面反射率特性の違いによる影響を大幅に緩和する
ことができ、縞を安定して抽出することができる。
【０１０３】続いて、エッジに挟まれた区間に対して、
当該縞の射出時の色を特定する処理に移る。
当該縞の射出時の色を特定する処理に移る。
【０１０４】即ち、まず、Ｆｉ（ここでｉ＝ｒ，ｇ，
ｂ）がノイズレベル以上となる成分数を調べる（ステッ
プＳ３３）。
ｂ）がノイズレベル以上となる成分数を調べる（ステッ
プＳ３３）。
【０１０５】ここで、成分数が０であれば、その領域の
３次元形状は推定できないことになる（ステップＳ１
０）。これは、黒色の被写体の場合である。
３次元形状は推定できないことになる（ステップＳ１
０）。これは、黒色の被写体の場合である。
【０１０６】もし、ノイズレベル以上となる成分数が１
であれば、１成分のみ反射する領域において、推定パタ
ーン透過率Ｔｉのヒストグラムを作成する（ステップＳ
１１）。このヒストグラムに対し、例えば、判別分析の
手法により、ヒストグラムをパターン作成時の階調数に
分割するような閾値を自動的に設定する（ステップＳ１
２）。次に、上記ステップＳ１２で設定した閾値を用い
て、推定パターン透過率Ｔｉの階調を判定する（ステッ
プＳ１３）。そして、上記判別した推定パターン透過率
Ｔｉの階調によって当該縞の射出時の色を特定し、コー
ド番号を推定する（ステップＳ１４）。
であれば、１成分のみ反射する領域において、推定パタ
ーン透過率Ｔｉのヒストグラムを作成する（ステップＳ
１１）。このヒストグラムに対し、例えば、判別分析の
手法により、ヒストグラムをパターン作成時の階調数に
分割するような閾値を自動的に設定する（ステップＳ１
２）。次に、上記ステップＳ１２で設定した閾値を用い
て、推定パターン透過率Ｔｉの階調を判定する（ステッ
プＳ１３）。そして、上記判別した推定パターン透過率
Ｔｉの階調によって当該縞の射出時の色を特定し、コー
ド番号を推定する（ステップＳ１４）。
【０１０７】また、ノイズレベル以上となる成分数が２
であれば、その２成分の推定パターン透過率Ｔｉの大き
さを比較する（ステップＳ１５）。次に、２成分の推定
パターン透過率Ｔｉの和を算出し、２成分を反射する領
域における和の値のヒストグラムを作成する（ステップ
Ｓ１６）。次に、例えば判別分析の手法により、ヒスト
グラムを２分割するような閾値を自動的に設定する（ス
テップＳ１７）。その後、この設定した閾値を用いて、
２成分の推定パターン透過率Ｔｉの和の階調を判定する
（ステップＳ１８）。そして、２成分の推定パターン透
過率Ｔｉ間の大小関係及び２成分の推定パターン透過率
Ｔｉの和に対する階調値によって、当該縞の射出時の色
を特定し、コード番号を推定する（ステップＳ１９）。
であれば、その２成分の推定パターン透過率Ｔｉの大き
さを比較する（ステップＳ１５）。次に、２成分の推定
パターン透過率Ｔｉの和を算出し、２成分を反射する領
域における和の値のヒストグラムを作成する（ステップ
Ｓ１６）。次に、例えば判別分析の手法により、ヒスト
グラムを２分割するような閾値を自動的に設定する（ス
テップＳ１７）。その後、この設定した閾値を用いて、
２成分の推定パターン透過率Ｔｉの和の階調を判定する
（ステップＳ１８）。そして、２成分の推定パターン透
過率Ｔｉ間の大小関係及び２成分の推定パターン透過率
Ｔｉの和に対する階調値によって、当該縞の射出時の色
を特定し、コード番号を推定する（ステップＳ１９）。
【０１０８】更に、ノイズレベル以上となる成分数が３
であれば、３成分の（２５５＊Ｔｉ）の値から色相を算
出し（ステップＳ２０）、算出された色相が射出時の色
相のどれに最も近いかを判定し、当該縞の射出時の色を
特定し、コード番号を推定する（ステップＳ２１）。な
お、色相で縞の色を特定する代わりに、例えば、３成分
間の比または大小関係を利用してもよい。
であれば、３成分の（２５５＊Ｔｉ）の値から色相を算
出し（ステップＳ２０）、算出された色相が射出時の色
相のどれに最も近いかを判定し、当該縞の射出時の色を
特定し、コード番号を推定する（ステップＳ２１）。な
お、色相で縞の色を特定する代わりに、例えば、３成分
間の比または大小関係を利用してもよい。
【０１０９】この手続きを最大視差の区間内の画素に対
して実施していくことにより、コード番号の列が推定さ
れ、その推定結果が、この２次元画像情報生成部２６で
抽出された上記パターン情報として、上記画像メモリ２
５に書き込まれる。
して実施していくことにより、コード番号の列が推定さ
れ、その推定結果が、この２次元画像情報生成部２６で
抽出された上記パターン情報として、上記画像メモリ２
５に書き込まれる。
【０１１０】そして、上記奥行き算出部２７での、上記
パターン情報におけるコード番号の列と、上記パターン
メモリ２１に記憶されているコード系列とを照合した
後、奥行きを算出するまでの処理は、前述の第１の実施
の形態と同じである。
パターン情報におけるコード番号の列と、上記パターン
メモリ２１に記憶されているコード系列とを照合した
後、奥行きを算出するまでの処理は、前述の第１の実施
の形態と同じである。
【０１１１】［第４の実施の形態］次に、本発明の第４
の実施の形態を説明する。
の実施の形態を説明する。
【０１１２】本第４の実施の形態では、装置構成が、前
述の第１の実施の形態と少し異なる。
述の第１の実施の形態と少し異なる。
【０１１３】即ち、図７に示すように、前述の第１の実
施の形態におけるストロボ２２及びパターン切り替え部
２３の代わりに、本第４の実施の形態では、パターン照
射用ストロボ２２−１と、該パターン照射用ストロボ２
２−１の前面に配されたフィルム上に設けられた固定の
パターン４１と、ストロボ２２−２とを備えた構成にな
っている。ここで、前述したような投影パターン撮影の
際には上記パターン照射用ストロボ２２−１を発光さ
せ、上記パターン無しフラッシュ撮影の際には上記スト
ロボ２２−２を発光させるよう、上記制御部２８によっ
て制御されるものである。
施の形態におけるストロボ２２及びパターン切り替え部
２３の代わりに、本第４の実施の形態では、パターン照
射用ストロボ２２−１と、該パターン照射用ストロボ２
２−１の前面に配されたフィルム上に設けられた固定の
パターン４１と、ストロボ２２−２とを備えた構成にな
っている。ここで、前述したような投影パターン撮影の
際には上記パターン照射用ストロボ２２−１を発光さ
せ、上記パターン無しフラッシュ撮影の際には上記スト
ロボ２２−２を発光させるよう、上記制御部２８によっ
て制御されるものである。
【０１１４】このような構成の第４の実施の形態では、
前述の第１の実施の形態におけるパターン切り替え部２
２３のような可動部がないため、壊れにくい、消費電力
が少なくて済む、等のメリットがある。
前述の第１の実施の形態におけるパターン切り替え部２
２３のような可動部がないため、壊れにくい、消費電力
が少なくて済む、等のメリットがある。
【０１１５】ただし、上記パターン照射用ストロボ２２
−１による照射条件と上記ストロボ２２−２による照射
条件とが、ほぼ同一の条件となるようにする必要があ
る。即ち、発光特性が似たものを互いに近い位置に設置
し、フラッシュの照射方向も同じにしておく方が望まし
い。
−１による照射条件と上記ストロボ２２−２による照射
条件とが、ほぼ同一の条件となるようにする必要があ
る。即ち、発光特性が似たものを互いに近い位置に設置
し、フラッシュの照射方向も同じにしておく方が望まし
い。
【０１１６】尚、処理の流れについては、前述の第１の
実施の形態、または、高速シャッタ撮影による上記第３
の実施の形態と同様である。
実施の形態、または、高速シャッタ撮影による上記第３
の実施の形態と同様である。
【０１１７】［第５の実施の形態］次に、本発明の第５
の実施の形態を説明する。
の実施の形態を説明する。
【０１１８】この第５の実施の形態における装置構成に
ついては、前述の第１の実施の形態あるいは前述の第２
の実施の形態のそれと同様である。異なる点は、高速シ
ャッタで撮影することによって外光の影響を抑える点、
及び、例えばリンゴのようにほぼ均一で一様な色をして
いる被写体を３次元計測の対象物として想定している点
である。
ついては、前述の第１の実施の形態あるいは前述の第２
の実施の形態のそれと同様である。異なる点は、高速シ
ャッタで撮影することによって外光の影響を抑える点、
及び、例えばリンゴのようにほぼ均一で一様な色をして
いる被写体を３次元計測の対象物として想定している点
である。
【０１１９】この場合、パターン無しフラッシュ無し撮
影とパターン無しフラッシュ撮影とを省き、投影パター
ン撮影１回のみで画像の取り込みを完了させる。
影とパターン無しフラッシュ撮影とを省き、投影パター
ン撮影１回のみで画像の取り込みを完了させる。
【０１２０】これに伴って、処理の流れが、前述の第１
の実施の形態等よりも、さらに簡素化される。図８を用
いて、これを説明する。
の実施の形態等よりも、さらに簡素化される。図８を用
いて、これを説明する。
【０１２１】まず、コード化済みのカラーパターン４を
被写体に投影する（ステップＳ１）。次に、投影された
パターンを撮影し、その画像データ（Ｐｒ，Ｐｇ，Ｐ
ｂ）を上記画像メモリ２５に入力する（ステップＳ
２）。
被写体に投影する（ステップＳ１）。次に、投影された
パターンを撮影し、その画像データ（Ｐｒ，Ｐｇ，Ｐ
ｂ）を上記画像メモリ２５に入力する（ステップＳ
２）。
【０１２２】この後、上記２次元画像情報生成部２６に
おいて、上記画像メモリ２５に入力した情報からパター
ンの縞構造を抽出し、各縞に対して当該縞の射出時の色
を特定し、デコード処理を実施していくことになるが、
それぞれの処理を以下に詳しく説明する。
おいて、上記画像メモリ２５に入力した情報からパター
ンの縞構造を抽出し、各縞に対して当該縞の射出時の色
を特定し、デコード処理を実施していくことになるが、
それぞれの処理を以下に詳しく説明する。
【０１２３】即ち、まず、Ｐｉ（ここでｉ＝ｒ，ｇ，
ｂ）が、予め設定してあるノイズレベル以上であるか否
かを判定し（ステップＳ５１）、ノイズレベル未満であ
れば、その成分の推定パターン透過率を不定とし、以後
の処理に影響を与えないような値を入力しておく（ステ
ップＳ７）。
ｂ）が、予め設定してあるノイズレベル以上であるか否
かを判定し（ステップＳ５１）、ノイズレベル未満であ
れば、その成分の推定パターン透過率を不定とし、以後
の処理に影響を与えないような値を入力しておく（ステ
ップＳ７）。
【０１２４】また、ノイズレベル以上であれば、パター
ンの縞構造（Ｐｉのグラフの極大、極小位置）を検出す
る（ステップＳ５２）。これには、例えばＳｏｂｅｌフ
ィルタなどにより、縞のエッジ部分を抽出し、エッジに
挟まれた区間で、Ｐｉの強度が極大となるか、極小とな
るかを判定する。
ンの縞構造（Ｐｉのグラフの極大、極小位置）を検出す
る（ステップＳ５２）。これには、例えばＳｏｂｅｌフ
ィルタなどにより、縞のエッジ部分を抽出し、エッジに
挟まれた区間で、Ｐｉの強度が極大となるか、極小とな
るかを判定する。
【０１２５】続いて、エッジに挟まれた区間に対して、
当該縞の射出時の色を特定する処理に移る。
当該縞の射出時の色を特定する処理に移る。
【０１２６】即ち、まず、Ｐｉ（ここでｉ＝ｒ，ｇ，
ｂ）がノイズレベル以上となる成分数を調べる（ステッ
プＳ５３）。
ｂ）がノイズレベル以上となる成分数を調べる（ステッ
プＳ５３）。
【０１２７】ここで、成分数が０であれば、その領域の
３次元形状は推定できないことになる（ステップＳ１
０）。これは、黒色の被写体の場合である。
３次元形状は推定できないことになる（ステップＳ１
０）。これは、黒色の被写体の場合である。
【０１２８】もし、ノイズレベル以上となる成分数が１
であれば、１成分のみ反射する領域において、推定パタ
ーン透過率Ｐｉのヒストグラムを作成する（ステップＳ
５４）。このヒストグラムに対し、例えば、判別分析の
手法により、ヒストグラムをパターン作成時の階調数に
分割するような閾値を自動的に設定する（ステップＳ１
２）。次に、上記ステップＳ１２で設定した閾値を用い
て、推定パターン透過率Ｐｉの階調を判定する（ステッ
プＳ５５）。そして、上記判別した推定パターン透過率
Ｐｉの階調によって当該縞の射出時の色を特定し、コー
ド番号を推定する（ステップＳ５６）。
であれば、１成分のみ反射する領域において、推定パタ
ーン透過率Ｐｉのヒストグラムを作成する（ステップＳ
５４）。このヒストグラムに対し、例えば、判別分析の
手法により、ヒストグラムをパターン作成時の階調数に
分割するような閾値を自動的に設定する（ステップＳ１
２）。次に、上記ステップＳ１２で設定した閾値を用い
て、推定パターン透過率Ｐｉの階調を判定する（ステッ
プＳ５５）。そして、上記判別した推定パターン透過率
Ｐｉの階調によって当該縞の射出時の色を特定し、コー
ド番号を推定する（ステップＳ５６）。
【０１２９】また、ノイズレベル以上となる成分数が２
であれば、その２成分の推定パターン透過率Ｐｉの大き
さを比較する（ステップＳ５７）。次に、２成分の推定
パターン透過率Ｐｉの和を算出し、２成分を反射する領
域における和の値のヒストグラムを作成する（ステップ
Ｓ５８）。次に、例えば判別分析の手法により、ヒスト
グラムを２分割するような閾値を自動的に設定する（ス
テップＳ１７）。その後、この設定した閾値を用いて、
２成分の推定パターン透過率Ｐｉの和の階調を判定する
（ステップＳ５９）。そして、２成分の推定パターン透
過率Ｐｉ間の大小関係及び２成分の推定パターン透過率
Ｐｉの和に対する階調値によって、当該縞の射出時の色
を特定し、コード番号を推定する（ステップＳ６０）。
であれば、その２成分の推定パターン透過率Ｐｉの大き
さを比較する（ステップＳ５７）。次に、２成分の推定
パターン透過率Ｐｉの和を算出し、２成分を反射する領
域における和の値のヒストグラムを作成する（ステップ
Ｓ５８）。次に、例えば判別分析の手法により、ヒスト
グラムを２分割するような閾値を自動的に設定する（ス
テップＳ１７）。その後、この設定した閾値を用いて、
２成分の推定パターン透過率Ｐｉの和の階調を判定する
（ステップＳ５９）。そして、２成分の推定パターン透
過率Ｐｉ間の大小関係及び２成分の推定パターン透過率
Ｐｉの和に対する階調値によって、当該縞の射出時の色
を特定し、コード番号を推定する（ステップＳ６０）。
【０１３０】更に、ノイズレベル以上となる成分数が３
であれば、３成分のＰｉの値から色相を算出し（ステッ
プＳ６１）、算出された色相が射出時の色相のどれに最
も近いかを判定し、当該縞の射出時の色を特定し、コー
ド番号を推定する（ステップＳ２１）。なお、色相で縞
の色を特定する代わりに、例えば、３成分間の比または
大小関係を利用してもよい。
であれば、３成分のＰｉの値から色相を算出し（ステッ
プＳ６１）、算出された色相が射出時の色相のどれに最
も近いかを判定し、当該縞の射出時の色を特定し、コー
ド番号を推定する（ステップＳ２１）。なお、色相で縞
の色を特定する代わりに、例えば、３成分間の比または
大小関係を利用してもよい。
【０１３１】この手続きを最大視差の区間内の画素に対
して実施していくことにより、コード番号の列が推定さ
れ、その推定結果が、この２次元画像情報生成部２６で
抽出された上記パターン情報として、上記画像メモリ２
５に書き込まれる。
して実施していくことにより、コード番号の列が推定さ
れ、その推定結果が、この２次元画像情報生成部２６で
抽出された上記パターン情報として、上記画像メモリ２
５に書き込まれる。
【０１３２】そしてその後の、上記奥行き算出部２７に
おける、このパターン情報におけるコード番号の列と、
上記パターンメモリ２１に記憶されているコード系列と
を照合した後、奥行きを算出するまでの処理は、前述の
第１実施の形態と同じである。
おける、このパターン情報におけるコード番号の列と、
上記パターンメモリ２１に記憶されているコード系列と
を照合した後、奥行きを算出するまでの処理は、前述の
第１実施の形態と同じである。
【０１３３】以上、実施の形態に基づいて本発明を説明
したが、本発明は上述した実施の形態に限定されるもの
ではなく、本発明の要旨の範囲内で種々の変形や応用が
可能である。
したが、本発明は上述した実施の形態に限定されるもの
ではなく、本発明の要旨の範囲内で種々の変形や応用が
可能である。
【０１３４】ここで、本発明の要旨をまとめると特許請
求の範囲に記載したものに加えて以下のようなものを含
む。
求の範囲に記載したものに加えて以下のようなものを含
む。
【０１３５】（１） カラーパターンを投影し、この投
影像をＲ，Ｇ，Ｂ信号のように複数の独立な周波数成分
に分けて受光する素子を有する３次元画像取得装置にお
いて、該カラーパターンは、全信号成分の組み合わせで
ある色によるコード化と、階調によるコード化と、が同
時に一つのパターン中に備わっていることを特徴とする
３次元情報取得装置。
影像をＲ，Ｇ，Ｂ信号のように複数の独立な周波数成分
に分けて受光する素子を有する３次元画像取得装置にお
いて、該カラーパターンは、全信号成分の組み合わせで
ある色によるコード化と、階調によるコード化と、が同
時に一つのパターン中に備わっていることを特徴とする
３次元情報取得装置。
【０１３６】（２） 予めコード化済みのパターンをフ
ラッシュ（ストロボ）やプロジェクタなどの照明手段を
発光させて被写体に向けて投影し、この投影像をカメラ
で撮影して得られるパターン付きフラッシュ撮影画像
と、パターン無しでフラッシュ撮影して得られるフラッ
シュ撮影画像と、パターン無しフラッシュ無しで撮影し
て得られるフラッシュ無し撮影画像と、の３タイプの画
像を取得し、これら３種類の画像からパターンの縞構造
の抽出及び縞のデコードを行なうことを特徴とする３次
元情報取得装置。
ラッシュ（ストロボ）やプロジェクタなどの照明手段を
発光させて被写体に向けて投影し、この投影像をカメラ
で撮影して得られるパターン付きフラッシュ撮影画像
と、パターン無しでフラッシュ撮影して得られるフラッ
シュ撮影画像と、パターン無しフラッシュ無しで撮影し
て得られるフラッシュ無し撮影画像と、の３タイプの画
像を取得し、これら３種類の画像からパターンの縞構造
の抽出及び縞のデコードを行なうことを特徴とする３次
元情報取得装置。
【０１３７】（３） 上記３次元情報取得装置は、予め
コード化済みのパターンをフラッシュ（ストロボ）やプ
ロジェクタなどの照明手段を発光させて被写体に向けて
投影し、この投影像をカメラで撮影して得られるパター
ン付きフラッシュ撮影画像と、パターン無しでフラッシ
ュ撮影して得られるフラッシュ撮影画像と、パターン無
しフラッシュ無しで撮影して得られるフラッシュ無し撮
影画像と、の３タイプの画像を取得し、これら３種類の
画像からパターンの縞構造の抽出及び縞のデコードを行
なうことを特徴とする（１）に記載の３次元情報取得装
置。
コード化済みのパターンをフラッシュ（ストロボ）やプ
ロジェクタなどの照明手段を発光させて被写体に向けて
投影し、この投影像をカメラで撮影して得られるパター
ン付きフラッシュ撮影画像と、パターン無しでフラッシ
ュ撮影して得られるフラッシュ撮影画像と、パターン無
しフラッシュ無しで撮影して得られるフラッシュ無し撮
影画像と、の３タイプの画像を取得し、これら３種類の
画像からパターンの縞構造の抽出及び縞のデコードを行
なうことを特徴とする（１）に記載の３次元情報取得装
置。
【０１３８】（４） 上記３次元情報取得装置は、カラ
ーコード化パターンの有無を切り替えるパターン切り替
え部と、上記パターンを投射するための光投射部と、上
記カラーパターンのコードを記憶するパターンメモリ
と、被写体から反射された光を受光する受光部と、上記
画像メモリに記憶されたパターンと上記パターンメモリ
で記憶されたパターンとから被写体の奥行き情報を算出
する奥行き算出部と、上記受光部で受光された情報を記
憶する画像メモリと、上記画像メモリから２次元画像情
報を生成する２次元画像情報生成部と、上記２次元画像
情報生成部で生成された２次元画像情報と上記奥行き算
出部で算出された奥行き値とから３次元画像を生成する
３次元画像生成部と、を有することを特徴とする（１）
に記載の３次元情報取得装置。
ーコード化パターンの有無を切り替えるパターン切り替
え部と、上記パターンを投射するための光投射部と、上
記カラーパターンのコードを記憶するパターンメモリ
と、被写体から反射された光を受光する受光部と、上記
画像メモリに記憶されたパターンと上記パターンメモリ
で記憶されたパターンとから被写体の奥行き情報を算出
する奥行き算出部と、上記受光部で受光された情報を記
憶する画像メモリと、上記画像メモリから２次元画像情
報を生成する２次元画像情報生成部と、上記２次元画像
情報生成部で生成された２次元画像情報と上記奥行き算
出部で算出された奥行き値とから３次元画像を生成する
３次元画像生成部と、を有することを特徴とする（１）
に記載の３次元情報取得装置。
【０１３９】（５） 上記３次元情報取得装置は、上記
受光部と上記画像メモリとをそれぞれ複数具備し、これ
ら複数の画像メモリ同士の内容をマッチングし、画像間
の対応づけを行なう対応関係決定部と、上記対応関係決
定部で決定された情報を基に上記奥行き算出部で被写体
の奥行き値を算出し、上記２次元画像情報生成部で生成
された２次元画像情報と上記奥行き算出部で算出された
奥行き値とから３次元画像を生成する３次元画像生成部
と、を更に具備することを特徴とする（４）に記載の３
次元情報取得装置。
受光部と上記画像メモリとをそれぞれ複数具備し、これ
ら複数の画像メモリ同士の内容をマッチングし、画像間
の対応づけを行なう対応関係決定部と、上記対応関係決
定部で決定された情報を基に上記奥行き算出部で被写体
の奥行き値を算出し、上記２次元画像情報生成部で生成
された２次元画像情報と上記奥行き算出部で算出された
奥行き値とから３次元画像を生成する３次元画像生成部
と、を更に具備することを特徴とする（４）に記載の３
次元情報取得装置。
【０１４０】（６） カラーパターンを投影し、この投
影像をＲ，Ｇ，Ｂ信号のように複数の独立な周波数成分
に分けて受光し、上記受光した信号をデコードすること
で３次元情報を取得する３次元画像取得方法において、
該カラーパターンは、全ての信号成分値の組み合わせで
ある色によるコード化と、階調によるコード化と、が同
時に一つのパターン中に備わっていることを特徴とする
３次元情報取得方法。
影像をＲ，Ｇ，Ｂ信号のように複数の独立な周波数成分
に分けて受光し、上記受光した信号をデコードすること
で３次元情報を取得する３次元画像取得方法において、
該カラーパターンは、全ての信号成分値の組み合わせで
ある色によるコード化と、階調によるコード化と、が同
時に一つのパターン中に備わっていることを特徴とする
３次元情報取得方法。
【０１４１】（７） 上記３次元情報取得方法は、縞パ
ターンまたは格子パターンのような縞状のパターンであ
って、縞と縞の間では、上記全ての信号成分値が必ず変
化していることを特徴とする（６）に記載の３次元情報
取得方法。
ターンまたは格子パターンのような縞状のパターンであ
って、縞と縞の間では、上記全ての信号成分値が必ず変
化していることを特徴とする（６）に記載の３次元情報
取得方法。
【０１４２】（８） 上記３次元情報取得方法は、上記
全ての信号成分値が、極大または極小となる区間もしく
は領域を交互に配置したことを特徴とする（６）に記載
の３次元情報取得方法。
全ての信号成分値が、極大または極小となる区間もしく
は領域を交互に配置したことを特徴とする（６）に記載
の３次元情報取得方法。
【０１４３】（９） 上記３次元情報取得方法は、２本
以上の色の組み合わせから一意的に縞が特定されること
を特徴とする（６）に記載の３次元情報取得方法。
以上の色の組み合わせから一意的に縞が特定されること
を特徴とする（６）に記載の３次元情報取得方法。
【０１４４】（１０） 上記３次元情報取得方法は、フ
ラッシュ撮影画像及びフラッシュ無し撮影画像を用い
て、利用可能な反射光の成分を判定し、全ての成分が利
用可能ならば、色によってコード番号を特定し、全ての
成分ではないが一つ以上の成分が利用可能ならば、各成
分の階調によってコード番号を特定することを特徴とす
る（６）に記載の３次元情報取得方法。
ラッシュ撮影画像及びフラッシュ無し撮影画像を用い
て、利用可能な反射光の成分を判定し、全ての成分が利
用可能ならば、色によってコード番号を特定し、全ての
成分ではないが一つ以上の成分が利用可能ならば、各成
分の階調によってコード番号を特定することを特徴とす
る（６）に記載の３次元情報取得方法。
【０１４５】（１１） 上記投影パターンにおける各色
成分のパターンは、隣り合う領域が互いに階調（輝度）
が異なるように複数の領域が配置されたものであること
を特徴とする請求項２６乃至２８の何れかに記載の３次
元情報取得方法。
成分のパターンは、隣り合う領域が互いに階調（輝度）
が異なるように複数の領域が配置されたものであること
を特徴とする請求項２６乃至２８の何れかに記載の３次
元情報取得方法。
【０１４６】（１２） 上記投影パターンにおける各色
成分のパターンは、階調（輝度）が極大となる領域と極
小となる領域を交互に配置されたものであることを特徴
とする請求項２６乃至２８の何れかに記載の３次元情報
取得方法。
成分のパターンは、階調（輝度）が極大となる領域と極
小となる領域を交互に配置されたものであることを特徴
とする請求項２６乃至２８の何れかに記載の３次元情報
取得方法。
【０１４７】（１３） 上記階調（輝度）が極小となる
領域は、最低階調（最小輝度）レベルであることを特徴
とする（１２）に記載の３次元情報取得方法。
領域は、最低階調（最小輝度）レベルであることを特徴
とする（１２）に記載の３次元情報取得方法。
【０１４８】（１４） 上記投影パターンは、異なる有
彩色に着色された複数の領域を含み、上記投影パターン
中の有彩色の領域は、上記各色成分のパターンの所定の
階調（輝度）を有する領域の組み合わせで構成されたも
のであると共に、一つの色成分のパターンにおける任意
の上記領域の階調（輝度）は、他の色成分のパターンに
おける上記任意の領域の階調と互いに異なり、これによ
って上記任意の領域が上記投影パターンの中のどの領域
であるかの対応が特定できるように、上記投影パターン
が符号化されている、ことを特徴とする請求項２６乃至
２８の何れかに記載の３次元情報取得方法。
彩色に着色された複数の領域を含み、上記投影パターン
中の有彩色の領域は、上記各色成分のパターンの所定の
階調（輝度）を有する領域の組み合わせで構成されたも
のであると共に、一つの色成分のパターンにおける任意
の上記領域の階調（輝度）は、他の色成分のパターンに
おける上記任意の領域の階調と互いに異なり、これによ
って上記任意の領域が上記投影パターンの中のどの領域
であるかの対応が特定できるように、上記投影パターン
が符号化されている、ことを特徴とする請求項２６乃至
２８の何れかに記載の３次元情報取得方法。
【０１４９】（１５） 上記複数の色成分は、Ｒ，Ｇ，
Ｂの３成分であることを特徴とする請求項２６乃至２８
の何れかに記載の３次元情報取得方法。
Ｂの３成分であることを特徴とする請求項２６乃至２８
の何れかに記載の３次元情報取得方法。
【０１５０】（１６） 上記パターン構造の推定は、上
記撮影されたパターンの色により上記撮影されたパター
ンの構造を推定する第１の推定方法と、全ての色成分で
ない一つ以上の色成分の階調（輝度）により上記撮影さ
れたパターンの構造を推定する第２の推定方法とを選択
的に実行することで行なわれ、上記第１または第２の推
定方法による推定結果が以降の処理に利用されることを
特徴とする請求項２６又は２７に記載の３次元情報取得
方法。
記撮影されたパターンの色により上記撮影されたパター
ンの構造を推定する第１の推定方法と、全ての色成分で
ない一つ以上の色成分の階調（輝度）により上記撮影さ
れたパターンの構造を推定する第２の推定方法とを選択
的に実行することで行なわれ、上記第１または第２の推
定方法による推定結果が以降の処理に利用されることを
特徴とする請求項２６又は２７に記載の３次元情報取得
方法。
【０１５１】
【発明の効果】以上詳述したように、本発明によれば、
白色系や淡色系物体測定用である色による特徴と濃色系
物体測定用である同一色成分の階調による特徴という２
つの異なる特徴を併せ持つ投影パターンを用い、投影パ
ターン撮影画像とフラッシュ撮影画像とフラッシュ無し
撮影画像との３種類の画像から、反射率、外光補正を行
なって、パターン特定を行なった上で、奥行き値を算出
するようにしているので、淡色系物体だけでなく濃色系
物体においても３次元情報を取得することができる３次
元情報取得装置、３次元情報取得における投影パター
ン、及び、３次元情報取得方法を提供することができ
る。
白色系や淡色系物体測定用である色による特徴と濃色系
物体測定用である同一色成分の階調による特徴という２
つの異なる特徴を併せ持つ投影パターンを用い、投影パ
ターン撮影画像とフラッシュ撮影画像とフラッシュ無し
撮影画像との３種類の画像から、反射率、外光補正を行
なって、パターン特定を行なった上で、奥行き値を算出
するようにしているので、淡色系物体だけでなく濃色系
物体においても３次元情報を取得することができる３次
元情報取得装置、３次元情報取得における投影パター
ン、及び、３次元情報取得方法を提供することができ
る。
【０１５２】また、本発明によれば、色（成分値の組み
合わせ）による縞の特徴づけと同一成分の階調による特
徴づけとを一つのパターン中に同時に埋め込んだコード
化を行ない、白色系や淡色系の物体については、色によ
る特徴によって、濃色系の物体についてはノイズレベル
未満の反射成分値の階調による特徴によってデコードし
ているので、濃色系も含めた様々な色の物体に対して投
光パターン中の位置と受光パターン中の位置を確実に対
応づけることが可能な３次元情報取得装置、３次元情報
取得における投影パターン、及び、３次元情報取得方法
を提供することができる。その結果、様々な色の物体に
対して３次元形状の測定をより正確に行なえる効果があ
る。
合わせ）による縞の特徴づけと同一成分の階調による特
徴づけとを一つのパターン中に同時に埋め込んだコード
化を行ない、白色系や淡色系の物体については、色によ
る特徴によって、濃色系の物体についてはノイズレベル
未満の反射成分値の階調による特徴によってデコードし
ているので、濃色系も含めた様々な色の物体に対して投
光パターン中の位置と受光パターン中の位置を確実に対
応づけることが可能な３次元情報取得装置、３次元情報
取得における投影パターン、及び、３次元情報取得方法
を提供することができる。その結果、様々な色の物体に
対して３次元形状の測定をより正確に行なえる効果があ
る。
【図１】本発明の第１の実施の形態に係る３次元情報取
得装置の適用された３次元形状測定装置のブロック構成
図である。
得装置の適用された３次元形状測定装置のブロック構成
図である。
【図２】第１の実施の形態において被写体に投影される
パターンの例を示す図である。
パターンの例を示す図である。
【図３】第１の実施の形態における画像処理の射出時の
色を特定するまでの流れを説明するためのフローチャー
トを示す図である。
色を特定するまでの流れを説明するためのフローチャー
トを示す図である。
【図４】第１の実施の形態における撮影時の種々のパラ
メータについて説明するための図である。
メータについて説明するための図である。
【図５】本発明の第２の実施の形態に係る３次元情報取
得装置の適用された３次元形状測定装置のブロック構成
図である。
得装置の適用された３次元形状測定装置のブロック構成
図である。
【図６】本発明の第３の実施の形態における画像処理の
射出時の色を特定するまでの流れを説明するためのフロ
ーチャートを示す図である。
射出時の色を特定するまでの流れを説明するためのフロ
ーチャートを示す図である。
【図７】本発明の第４の実施の形態に係る３次元情報取
得装置の適用された３次元形状測定装置のブロック構成
図である。
得装置の適用された３次元形状測定装置のブロック構成
図である。
【図８】本発明の第５の実施の形態における画像処理の
射出時の色を特定するまでの流れを説明するためのフロ
ーチャートを示す図である。
射出時の色を特定するまでの流れを説明するためのフロ
ーチャートを示す図である。
【図９】従来の技術によるパターンの例を示す図であ
る。
る。
【図１０】従来の技術によるカラーパターン投影法の処
理の流れを説明するためのフローチャートを示す図であ
る。
理の流れを説明するためのフローチャートを示す図であ
る。
１ ３次元形状測定装置
２ ３次元情報取得装置
３ ３次元画像生成部
４ カラーパターン
２１ パターンメモリ
２２，２２−２ ストロボ
２２−１ パターン照射用ストロボ
２３ パターン切り替え部
２４，２４Ｒ，２４Ｌ 撮影部
２５，２５Ｒ，２５Ｌ 画像メモリ
２６ ２次元画像情報生成部
２７ 奥行き算出部
２８ 制御部
２９ 対応関係決定部
２４１，２４１Ｒ，２４１Ｌ 集光レンズ
２４２，２４２Ｒ，２４２Ｌ 受光部
─────────────────────────────────────────────────────
フロントページの続き
Ｆターム(参考） 2F065 AA04 AA22 AA53 DD04 FF04
FF09 GG02 HH07 JJ26 KK02
QQ06 QQ24 QQ25 QQ29 QQ31
QQ33 QQ43 SS09
5B057 AA20 CA01 CA08 CA12 CB13
CD14 CE11 CE16 CH01 CH11
Claims (28)
- 【請求項１】 撮影手段から所定の距離離れた位置から
複数の色成分のパターンが重畳された所定の投影パター
ンが投影された撮影対象を上記撮影手段で撮影し、上記
撮影手段で撮影された画像を解析することにより、上記
撮影対象の３次元情報を取得する３次元情報取得装置で
あって、 光源からの光によって照明された上記撮影対象を撮影し
た第１の画像、上記光源を消灯あるいは遮光して上記光
源からの光による照明を行なわずに上記撮影対象を撮影
した第２の画像、及び上記光源からの光または上記光源
と同じ特性を有する他の光源からの光を利用して上記投
影パターンが投影された上記撮影対象を撮影した第３の
画像を記憶する画像記憶手段と、 上記撮影対象に投影される上記投影パターンを予め記憶
するパターン記憶手段と、 上記画像記憶手段に記憶された上記第１、第２及び第３
の画像を利用して上記撮影対象の表面反射率および外光
の影響を補正し、上記補正を行なって得られたパターン
各部の色または階調に基づいて撮影されたパターンの構
造を推定するパターン構造推定手段と、 上記パターン構造推定手段による上記推定の結果と上記
パターン記憶手段に記憶された上記投影パターンとの対
応関係を特定し、上記対応関係の特定結果に基づいて上
記撮影対象の奥行き値を算出する奥行き算出手段と、 を具備することを特徴とする３次元情報取得装置。 - 【請求項２】 上記投影パターンにおける各色成分のパ
ターンは、隣り合う領域が互いに階調が異なるように複
数の領域が配置されたものであることを特徴とする請求
項１に記載の３次元情報取得装置。 - 【請求項３】 上記投影パターンにおける各色成分のパ
ターンは、階調が極大となる領域と極小となる領域を交
互に配置されたものであることを特徴とする請求項１に
記載の３次元情報取得装置。 - 【請求項４】 上記階調が極小となる領域は、最低階調
レベルであることを特徴とする請求項３に記載の３次元
情報取得装置。 - 【請求項５】 上記投影パターンは、異なる有彩色に着
色された複数の領域を含み、 上記投影パターン中の有彩色の領域は、上記各色成分の
パターンの所定の階調を有する領域の組み合わせで構成
されたものであると共に、一つの色成分のパターンにお
ける任意の上記領域の階調は、他の色成分のパターンに
おける上記任意の領域の階調と互いに異なり、これによ
って上記任意の領域が上記投影パターンの中のどの領域
であるかの対応が特定できるように、上記投影パターン
が符号化されている、 ことを特徴とする請求項１に記載の３次元情報取得装
置。 - 【請求項６】 上記複数の色成分は、Ｒ，Ｇ，Ｂの３成
分であることを特徴とする請求項１に記載の３次元情報
取得装置。 - 【請求項７】 上記パターン構造推定手段は、上記撮影
されたパターンの色により上記撮影されたパターンの構
造を推定する第１の推定方法と、全ての色成分でない一
つ以上の色成分の階調により上記撮影されたパターンの
構造を推定する第２の推定方法とを選択的に実行し、 上記奥行き算出手段は、上記第１または第２の推定方法
による推定結果を利用して上記撮影対象の奥行き値を算
出することを特徴とする請求項１に記載の３次元情報取
得装置。 - 【請求項８】 撮影手段から所定の距離離れた位置から
複数の色成分のパターンが重畳された所定の投影パター
ンが投影された撮影対象を上記撮影手段で撮影し、上記
撮影手段で撮影された画像を解析することにより、上記
撮影対象の３次元情報を取得する３次元情報取得装置で
あって、 光源からの光によって照明された上記撮影対象を撮影し
た第１の画像と、上記光源からの光または上記光源と同
じ特性を有する他の光源からの光を利用して上記投影パ
ターンが投影された上記撮影対象を撮影した第２の画像
とを記憶する画像記憶手段と、 上記撮影対象に投影される上記投影パターンを予め記憶
するパターン記憶手段と、 上記画像記憶手段に記憶された上記第１及び第２の画像
を利用して上記撮影対象の表面反射率の影響を補正し、
上記補正を行なって得られたパターン各部の色または階
調に基づいて撮影されたパターンの構造を推定するパタ
ーン構造推定手段と、 上記パターン構造推定手段による上記推定の結果と上記
パターン記憶手段に記憶された上記投影パターンとの対
応関係を特定し、上記対応関係の特定結果を利用して上
記撮影対象の奥行き値を算出する奥行き算出手段と、 を具備することを特徴とする３次元情報取得装置。 - 【請求項９】 上記投影パターンにおける各色成分のパ
ターンは、隣り合う領域が互いに階調が異なるように複
数の領域が配置されたものであることを特徴とする請求
項８に記載の３次元情報取得装置。 - 【請求項１０】 上記投影パターンにおける各色成分の
パターンは、階調が極大となる領域と極小となる領域を
交互に配置されたものであることを特徴とする請求項８
に記載の３次元情報取得装置。 - 【請求項１１】 上記階調が極小となる領域は、最低階
調レベルであることを特徴とする請求項１０に記載の３
次元情報取得装置。 - 【請求項１２】 上記投影パターンは、異なる有彩色に
着色された複数の領域を含み、 上記投影パターン中の有彩色の領域は、上記各色成分の
パターンの所定の階調を有する領域の組み合わせで構成
されたものであると共に、一つの色成分のパターンにお
ける任意の上記領域の階調は、他の色成分のパターンに
おける上記任意の領域の階調と互いに異なり、これによ
って上記任意の領域が上記投影パターンの中のどの領域
であるかの対応が特定できるように、上記投影パターン
が符号化されている、 ことを特徴とする請求項８に記載の３次元情報取得装
置。 - 【請求項１３】 上記複数の色成分は、Ｒ，Ｇ，Ｂの３
成分であることを特徴とする請求項８に記載の３次元情
報取得装置。 - 【請求項１４】 上記パターン構造推定手段は、上記撮
影されたパターンの色により上記撮影されたパターンの
構造を推定する第１の推定方法と、全ての色成分でない
一つ以上の色成分の階調により上記撮影されたパターン
の構造を推定する第２の推定方法とを選択的に実行し、 上記奥行き算出手段は、上記第１または第２の推定方法
による推定結果を利用して上記撮影対象の奥行き値を算
出することを特徴とする請求項８に記載の３次元情報取
得装置。 - 【請求項１５】 撮影手段から所定の距離離れた位置か
ら複数の色成分のパターンが重畳された所定の投影パタ
ーンが投影された撮影対象を上記撮影手段で撮影し、上
記撮影手段で撮影された画像を解析することにより、上
記撮影対象の３次元情報を取得する３次元情報取得装置
であって、 上記投影パターンが投影された上記撮影対象を撮影した
画像を記憶する画像記憶手段と、 上記撮影対象に投影される上記投影パターンを予め記憶
するパターン記憶手段と、 上記画像中に含まれるパターンの色により撮影されたパ
ターンの構造を推定する第１の推定方法と、全ての色成
分でない一つ以上の色成分の階調により上記撮影された
パターンの構造を推定する第２の推定方法とを選択的に
実行するパターン構造推定手段と、 上記パターン構造推定手段での上記第１または第２の推
定方法による推定結果と上記パターン記憶手段に記憶さ
れた上記投影パターンとの対応関係を特定し、上記対応
関係の特定結果を利用して上記撮影対象の奥行き値を算
出する奥行き算出手段と、 を具備することを特徴とする３次元情報取得装置。 - 【請求項１６】 上記投影パターンにおける各色成分の
パターンは、隣り合う領域が互いに階調が異なるように
複数の領域が配置されたものであることを特徴とする請
求項１５に記載の３次元情報取得装置。 - 【請求項１７】 上記投影パターンにおける各色成分の
パターンは、階調が極大となる領域と極小となる領域を
交互に配置されたものであることを特徴とする特徴とす
る請求項１５に記載の３次元情報取得装置。 - 【請求項１８】 上記階調が極小となる領域は、最低階
調レベルであることを特徴とする請求項１７に記載の３
次元情報取得装置。 - 【請求項１９】 上記投影パターンは、異なる有彩色に
着色された複数の領域を含み、 上記投影パターン中の有彩色の領域は、上記各色成分の
パターンの所定の階調を有する領域の組み合わせで構成
されたものであると共に、一つの色成分のパターンにお
ける任意の上記領域の階調は、他の色成分のパターンに
おける上記任意の領域の階調と互いに異なり、これによ
って上記任意の領域が上記投影パターンの中のどの領域
であるかの対応が特定できるように、上記投影パターン
が符号化されている、 ことを特徴とする請求項１５に記載の３次元情報取得装
置。 - 【請求項２０】 上記複数の色成分は、Ｒ，Ｇ，Ｂの３
成分であることを特徴とする請求項１５に記載の３次元
情報取得装置。 - 【請求項２１】 撮影対象を撮影した画像を解析して上
記撮影対象の３次元情報を取得するに際して、上記撮影
対象に投影される投影パターンであって、 複数の色成分のパターンが重畳されたものであり、 異なる有彩色に着色された複数の領域を含み、 上記有彩色の領域は、上記各色成分のパターンの所定の
階調を有する領域の組み合わせで構成されたものである
と共に、一つの色成分のパターンにおける任意の上記領
域の階調は、他の色成分のパターンにおける上記任意の
領域の階調と互いに異なり、これによって上記任意の領
域が上記投影パターンの中のどの領域であるかの対応が
特定できるように、上記投影パターンが符号化されてい
る、 ことを特徴とする３次元情報取得における投影パター
ン。 - 【請求項２２】 上記各色成分のパターンは、隣り合う
領域が互いに階調が異なるように複数の領域が配置され
たものであることを特徴とする請求項２１に記載の３次
元情報取得における投影パターン。 - 【請求項２３】 上記各色成分のパターンは、階調が極
大となる領域と極小となる領域を交互に配置されたもの
であることを特徴とする請求項２１に記載の３次元情報
取得における投影パターン。 - 【請求項２４】 上記階調が極小となる領域は、最低階
調レベルであることを特徴とする請求項２１に記載の３
次元情報取得における投影パターン。 - 【請求項２５】 上記複数の色成分は、Ｒ，Ｇ，Ｂの３
成分であることを特徴とする請求項２１に記載の３次元
情報取得における投影パターン。 - 【請求項２６】 撮影手段から所定の距離離れた位置か
ら複数の色成分のパターンが重畳された所定の投影パタ
ーンが投影された撮影対象を上記撮影手段で撮影し、上
記撮影手段で撮影された画像を解析することにより、上
記撮影対象の３次元情報を取得する３次元情報取得方法
であって、 光源からの光によって照明された上記撮影対象を撮影す
ることで第１の画像を得、 上記光源を消灯あるいは遮光して上記光源からの光によ
る照明を行なわずに上記撮影対象を撮影することで第２
の画像を得、 上記光源からの光または上記光源と同じ特性を有する他
の光源からの光を利用して上記投影パターンが投影され
た上記撮影対象を撮影することで第３の画像を得、 これら第１、第２及び第３の画像を利用して上記撮影対
象の表面反射率および外光の影響を補正し、上記補正を
行なって得られたパターン各部の色または階調に基づい
て撮影されたパターンの構造を推定し、 上記推定の結果と上記投影した所定の投影パターンとの
対応関係を特定し、 上記対応関係の特定結果に基づいて上記撮影対象の奥行
き値を算出する、 ことを特徴とする３次元情報取得方法。 - 【請求項２７】 撮影手段から所定の距離離れた位置か
ら複数の色成分のパターンが重畳された所定の投影パタ
ーンが投影された撮影対象を上記撮影手段で撮影し、上
記撮影手段で撮影された画像を解析することにより、上
記撮影対象の３次元情報を取得する３次元情報取得方法
であって、 光源からの光によって照明された上記撮影対象を撮影す
ることで第１の画像を得、 上記光源からの光または上記光源と同じ特性を有する他
の光源からの光を利用して上記投影パターンが投影され
た上記撮影対象を撮影することで第２の画像を得、 これら第１及び第２の画像を利用して上記撮影対象の表
面反射率の影響を補正し、上記補正を行なって得られた
パターン各部の色または階調に基づいて撮影されたパタ
ーンの構造を推定し、 上記推定の結果と上記投影した所定の投影パターンとの
対応関係を特定し、 上記対応関係の特定結果を利用して上記撮影対象の奥行
き値を算出する、 ことを特徴とする３次元情報取得方法。 - 【請求項２８】 撮影手段から所定の距離離れた位置か
ら複数の色成分のパターンが重畳された所定の投影パタ
ーンが投影された撮影対象を上記撮影手段で撮影し、上
記撮影手段で撮影された画像を解析することにより、上
記撮影対象の３次元情報を取得する３次元情報取得方法
であって、 上記投影パターンが投影された上記撮影対象を撮影する
ことで画像を得、 この画像中に含まれるパターンの色により撮影されたパ
ターン構造を推定する第１の推定方法と、全ての色成分
でない一つ以上の色成分の階調により上記撮影されたパ
ターンの構造を推定する第２の推定方法とを選択的に実
行し、 上記第１または第２の推定方法による推定結果と上記投
影した所定の投影パターンとの対応関係を特定し、 上記対応関係の特定結果を利用して上記撮影対象の奥行
き値を算出する、 ことを特徴とする３次元情報取得方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002128905A JP3884321B2 (ja) | 2001-06-26 | 2002-04-30 | ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法 |
| US10/179,494 US7092563B2 (en) | 2001-06-26 | 2002-06-24 | Three-dimensional information acquisition apparatus and three-dimensional information acquisition method |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001193555 | 2001-06-26 | ||
| JP2001-193555 | 2001-06-26 | ||
| JP2002128905A JP3884321B2 (ja) | 2001-06-26 | 2002-04-30 | ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003083730A true JP2003083730A (ja) | 2003-03-19 |
| JP3884321B2 JP3884321B2 (ja) | 2007-02-21 |
Family
ID=26617592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002128905A Expired - Fee Related JP3884321B2 (ja) | 2001-06-26 | 2002-04-30 | ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7092563B2 (ja) |
| JP (1) | JP3884321B2 (ja) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004288181A (ja) * | 2003-03-21 | 2004-10-14 | Mitsubishi Electric Research Laboratories Inc | 出力画像を表示面の形状に適応させる方法 |
| JP2006058092A (ja) * | 2004-08-18 | 2006-03-02 | Fuji Xerox Co Ltd | ３次元形状測定装置および方法 |
| JP2007017355A (ja) * | 2005-07-08 | 2007-01-25 | Omron Corp | ステレオ対応づけのための投光パターンの生成装置及び生成方法 |
| WO2008120457A1 (ja) * | 2007-03-29 | 2008-10-09 | School Juridical Person Of Fukuoka Kogyo Daigaku | 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム |
| JP2009186217A (ja) * | 2008-02-04 | 2009-08-20 | Nikon Corp | ３次元形状測定装置および３次元形状測定方法 |
| JP2010504522A (ja) * | 2006-09-21 | 2010-02-12 | トムソン ライセンシング | ３次元モデル取得のための方法及びシステム |
| CN101840575A (zh) * | 2010-04-30 | 2010-09-22 | 长春理工大学 | 一种将De Bruijn彩色结构光图像转化为赋权有向图模型和赋权有向图模型简化方法 |
| JP2011029790A (ja) * | 2009-07-22 | 2011-02-10 | Honda Motor Co Ltd | 撮像システム |
| JP2012122975A (ja) * | 2010-12-10 | 2012-06-28 | Maxell Finetech Ltd | 光学式距離計測装置、光学式距離計測装置の距離計測方法および距離計測用プログラム |
| WO2013008804A1 (ja) * | 2011-07-11 | 2013-01-17 | キヤノン株式会社 | 計測装置および情報処理装置 |
| JP2015137933A (ja) * | 2014-01-22 | 2015-07-30 | 富士通株式会社 | 距離測定装置、距離測定方法および距離測定プログラム |
| JP2016176723A (ja) * | 2015-03-18 | 2016-10-06 | キヤノン株式会社 | 計測装置 |
| JP2018205037A (ja) * | 2017-05-31 | 2018-12-27 | 株式会社リコー | 評価装置、評価プログラム及び評価方法 |
| JP2018204976A (ja) * | 2017-05-30 | 2018-12-27 | キヤノン株式会社 | 距離測定装置、距離測定方法及び撮像装置 |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3884321B2 (ja) * | 2001-06-26 | 2007-02-21 | オリンパス株式会社 | ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法 |
| US8224064B1 (en) * | 2003-05-21 | 2012-07-17 | University Of Kentucky Research Foundation, Inc. | System and method for 3D imaging using structured light illumination |
| TWI257072B (en) * | 2003-06-20 | 2006-06-21 | Ind Tech Res Inst | 3D color information acquisition method and device thereof |
| WO2005008174A1 (ja) * | 2003-07-23 | 2005-01-27 | Brother Kogyo Kabushiki Kaisha | ３次元形状検出装置、撮像装置、及び、３次元形状検出方法 |
| US7929752B2 (en) * | 2003-10-31 | 2011-04-19 | Nano Picture Co., Ltd. | Method for generating structured-light pattern |
| JP4923500B2 (ja) | 2005-09-29 | 2012-04-25 | カシオ計算機株式会社 | プロジェクタ装置、及びその光源制御方法 |
| US7551807B2 (en) * | 2005-11-14 | 2009-06-23 | Korea Institute Of Industrial Technology | Apparatus and method for searching for 3-dimensional shapes |
| US7970177B2 (en) * | 2006-03-23 | 2011-06-28 | Tyzx, Inc. | Enhancing stereo depth measurements with projected texture |
| WO2007142643A1 (en) * | 2006-06-08 | 2007-12-13 | Thomson Licensing | Two pass approach to three dimensional reconstruction |
| JP2008070611A (ja) * | 2006-09-14 | 2008-03-27 | Casio Comput Co Ltd | 撮像装置、露出条件調整方法及びプログラム |
| US8265343B2 (en) * | 2006-12-25 | 2012-09-11 | Nec Corporation | Apparatus, method and program for distance measurement |
| US8659698B2 (en) | 2007-05-17 | 2014-02-25 | Ilya Blayvas | Compact 3D scanner with fixed pattern projector and dual band image sensor |
| FI20075975L (fi) * | 2007-12-31 | 2009-07-01 | Metso Automation Oy | Rainan mittaus |
| US8150105B2 (en) * | 2008-05-22 | 2012-04-03 | International Electronic Machines Corporation | Inspection using three-dimensional profile information |
| US8274507B2 (en) * | 2009-07-02 | 2012-09-25 | Robert Bosch Gmbh | Method and apparatus for obtaining 3-dimensional data with a portable device |
| US8908958B2 (en) * | 2009-09-03 | 2014-12-09 | Ron Kimmel | Devices and methods of generating three dimensional (3D) colored models |
| EP2496910A4 (en) | 2009-11-04 | 2016-11-16 | Technologies Numetrix Inc | DEVICE AND METHOD FOR OBTAINING THREE-DIMENSIONAL OBJECT SURFACE DATA |
| EP2510504A4 (en) * | 2009-12-07 | 2013-08-14 | Photon X Inc | 3D VISUALIZATION SYSTEM |
| US9179106B2 (en) * | 2009-12-28 | 2015-11-03 | Canon Kabushiki Kaisha | Measurement system, image correction method, and computer program |
| KR101628383B1 (ko) * | 2010-02-26 | 2016-06-21 | 연세대학교 산학협력단 | 영상 처리 장치 및 방법 |
| DE102010022827A1 (de) * | 2010-06-05 | 2011-12-08 | TSK Prüfsysteme GmbH | Höhenvermessungs-Vorrichtung zur Höhenvermessung einer Kraftfahrzeug-Zentralelektrik |
| JP5587137B2 (ja) * | 2010-10-29 | 2014-09-10 | キヤノン株式会社 | 測定装置及び測定方法 |
| US9325966B2 (en) * | 2012-07-30 | 2016-04-26 | Canon Kabushiki Kaisha | Depth measurement using multispectral binary coded projection and multispectral image capture |
| US20140085426A1 (en) * | 2012-09-24 | 2014-03-27 | Alces Technology, Inc. | Structured light systems with static spatial light modulators |
| KR101314101B1 (ko) * | 2012-09-24 | 2013-10-04 | 위프코 주식회사 | 3차원 계측 시스템 및 그 방법 |
| JP6144976B2 (ja) | 2013-06-26 | 2017-06-07 | キヤノン株式会社 | 情報処理装置、組み付け装置、情報処理方法、及びプログラム |
| JP6420530B2 (ja) | 2013-06-26 | 2018-11-07 | キヤノン株式会社 | 情報処理装置、計測システム、制御システム、光量決定方法、プログラム及び記憶媒体 |
| US20150009290A1 (en) * | 2013-07-05 | 2015-01-08 | Peter MANKOWSKI | Compact light module for structured-light 3d scanning |
| DE202014100974U1 (de) * | 2014-03-04 | 2015-06-08 | Retsch Technology Gmbh | Vorrichtung zur Bestimmung der Partikelgröße und/oder der Partikelform eines Partikelgemisches |
| US9325973B1 (en) * | 2014-07-08 | 2016-04-26 | Aquifi, Inc. | Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data |
| US9729809B2 (en) | 2014-07-11 | 2017-08-08 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and driving method of semiconductor device or electronic device |
| US9503708B2 (en) | 2014-11-03 | 2016-11-22 | Aquifi, Inc. | Systems and methods for reducing z-thickness and zero-order effects in depth cameras |
| US9881235B1 (en) * | 2014-11-21 | 2018-01-30 | Mahmoud Narimanzadeh | System, apparatus, and method for determining physical dimensions in digital images |
| FR3030066B1 (fr) * | 2014-12-16 | 2017-12-22 | Commissariat Energie Atomique | Projecteur de lumiere structuree et scanner tridimensionnel comportant un tel projecteur |
| US10186034B2 (en) * | 2015-01-20 | 2019-01-22 | Ricoh Company, Ltd. | Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium |
| JP6478713B2 (ja) | 2015-03-04 | 2019-03-06 | キヤノン株式会社 | 計測装置および計測方法 |
| JP2017003331A (ja) * | 2015-06-05 | 2017-01-05 | キヤノン株式会社 | 被計測物の形状を計測する計測装置、算出装置、算出方法及びプログラム |
| CN105300319B (zh) * | 2015-11-20 | 2017-11-07 | 华南理工大学 | 一种基于彩色光栅的快速三维立体重建方法 |
| US9800795B2 (en) * | 2015-12-21 | 2017-10-24 | Intel Corporation | Auto range control for active illumination depth camera |
| WO2018200685A2 (en) | 2017-04-27 | 2018-11-01 | Ecosense Lighting Inc. | Methods and systems for an automated design, fulfillment, deployment and operation platform for lighting installations |
| CN107516324B (zh) * | 2017-07-20 | 2019-12-17 | 大连理工大学 | 一种基于光条几何特征突变的目标边界提取方法 |
| JP6897389B2 (ja) * | 2017-07-25 | 2021-06-30 | 富士通株式会社 | 判別用コンピュータプログラム、判別装置及び判別方法ならびに通信システム |
| US10559211B2 (en) | 2017-11-27 | 2020-02-11 | Uber Technologies, Inc. | Real-time service provider progress monitoring |
| US10733473B2 (en) * | 2018-09-20 | 2020-08-04 | Uber Technologies Inc. | Object verification for a network-based service |
| US10999299B2 (en) * | 2018-10-09 | 2021-05-04 | Uber Technologies, Inc. | Location-spoofing detection system for a network service |
| US11089279B2 (en) * | 2018-12-06 | 2021-08-10 | Htc Corporation | 3D image processing method, camera device, and non-transitory computer readable storage medium |
| CN114080535A (zh) * | 2019-06-28 | 2022-02-22 | 佳能株式会社 | 测量设备、摄像设备、测量***、控制方法以及程序 |
| TWI773133B (zh) * | 2020-07-10 | 2022-08-01 | 大陸商廣州印芯半導體技術有限公司 | 測距裝置以及測距方法 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4687326A (en) * | 1985-11-12 | 1987-08-18 | General Electric Company | Integrated range and luminance camera |
| DE4130237A1 (de) * | 1991-09-11 | 1993-03-18 | Zeiss Carl Fa | Verfahren und vorrichtung zur dreidimensionalen optischen vermessung von objektoberflaechen |
| JP3347385B2 (ja) * | 1992-03-27 | 2002-11-20 | オリンパス光学工業株式会社 | 内視鏡画像処理装置 |
| US6445814B2 (en) * | 1996-07-01 | 2002-09-03 | Canon Kabushiki Kaisha | Three-dimensional information processing apparatus and method |
| US6438272B1 (en) * | 1997-12-31 | 2002-08-20 | The Research Foundation Of State University Of Ny | Method and apparatus for three dimensional surface contouring using a digital video projection system |
| US6064423A (en) * | 1998-02-12 | 2000-05-16 | Geng; Zheng Jason | Method and apparatus for high resolution three dimensional display |
| US6078307A (en) * | 1998-03-12 | 2000-06-20 | Sharp Laboratories Of America, Inc. | Method for increasing luminance resolution of color panel display systems |
| JP2000292134A (ja) * | 1999-04-07 | 2000-10-20 | Minolta Co Ltd | ３次元情報入力カメラ |
| CA2267519A1 (en) * | 1999-04-13 | 2000-10-13 | Inspeck Inc. | Optical full human body 3d digitizer |
| JP3417377B2 (ja) * | 1999-04-30 | 2003-06-16 | 日本電気株式会社 | 三次元形状計測方法及び装置並びに記録媒体 |
| DE19928341C2 (de) * | 1999-06-21 | 2002-06-20 | Inb Vision Ag | Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen |
| US6341016B1 (en) * | 1999-08-06 | 2002-01-22 | Michael Malione | Method and apparatus for measuring three-dimensional shape of object |
| JP2001159510A (ja) * | 1999-12-01 | 2001-06-12 | Matsushita Electric Ind Co Ltd | 三次元形状計測方法及びその装置 |
| US6700669B1 (en) * | 2000-01-28 | 2004-03-02 | Zheng J. Geng | Method and system for three-dimensional imaging using light pattern having multiple sub-patterns |
| US6937348B2 (en) * | 2000-01-28 | 2005-08-30 | Genex Technologies, Inc. | Method and apparatus for generating structural pattern illumination |
| EP1126412B1 (en) * | 2000-02-16 | 2013-01-30 | FUJIFILM Corporation | Image capturing apparatus and distance measuring method |
| JP4040825B2 (ja) * | 2000-06-12 | 2008-01-30 | 富士フイルム株式会社 | 画像撮像装置及び距離測定方法 |
| US6509559B1 (en) * | 2000-06-20 | 2003-01-21 | Ppt Vision, Inc. | Binary optical grating and method for generating a moire pattern for 3D imaging |
| US6668078B1 (en) * | 2000-09-29 | 2003-12-23 | International Business Machines Corporation | System and method for segmentation of images of objects that are occluded by a semi-transparent material |
| US6618123B2 (en) * | 2000-10-20 | 2003-09-09 | Matsushita Electric Industrial Co., Ltd. | Range-finder, three-dimensional measuring method and light source apparatus |
| US6573912B1 (en) * | 2000-11-07 | 2003-06-03 | Zaxel Systems, Inc. | Internet system for virtual telepresence |
| JP2002191058A (ja) * | 2000-12-20 | 2002-07-05 | Olympus Optical Co Ltd | ３次元画像取得装置および３次元画像取得方法 |
| WO2002075245A1 (en) * | 2001-03-13 | 2002-09-26 | Solutionix Co., Ltd. | Apparatus and method for measuring three dimensional shape with multi-stripe patterns |
| JP3519698B2 (ja) * | 2001-04-20 | 2004-04-19 | 照明 與語 | ３次元形状測定方法 |
| JP3884321B2 (ja) * | 2001-06-26 | 2007-02-21 | オリンパス株式会社 | ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法 |
| JP2003042735A (ja) * | 2001-08-01 | 2003-02-13 | Minolta Co Ltd | ３次元計測方法および装置並びにコンピュータプログラム |
-
2002
- 2002-04-30 JP JP2002128905A patent/JP3884321B2/ja not_active Expired - Fee Related
- 2002-06-24 US US10/179,494 patent/US7092563B2/en not_active Expired - Fee Related
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004288181A (ja) * | 2003-03-21 | 2004-10-14 | Mitsubishi Electric Research Laboratories Inc | 出力画像を表示面の形状に適応させる方法 |
| JP2006058092A (ja) * | 2004-08-18 | 2006-03-02 | Fuji Xerox Co Ltd | ３次元形状測定装置および方法 |
| JP2007017355A (ja) * | 2005-07-08 | 2007-01-25 | Omron Corp | ステレオ対応づけのための投光パターンの生成装置及び生成方法 |
| JP4577126B2 (ja) * | 2005-07-08 | 2010-11-10 | オムロン株式会社 | ステレオ対応づけのための投光パターンの生成装置及び生成方法 |
| US8284194B2 (en) | 2006-09-21 | 2012-10-09 | Thomson Licensing | Method and system for three-dimensional model acquisition |
| JP2010504522A (ja) * | 2006-09-21 | 2010-02-12 | トムソン ライセンシング | ３次元モデル取得のための方法及びシステム |
| WO2008120457A1 (ja) * | 2007-03-29 | 2008-10-09 | School Juridical Person Of Fukuoka Kogyo Daigaku | 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム |
| JP2008249432A (ja) * | 2007-03-29 | 2008-10-16 | Fukuoka Institute Of Technology | 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム |
| JP2009186217A (ja) * | 2008-02-04 | 2009-08-20 | Nikon Corp | ３次元形状測定装置および３次元形状測定方法 |
| JP2011029790A (ja) * | 2009-07-22 | 2011-02-10 | Honda Motor Co Ltd | 撮像システム |
| CN101840575A (zh) * | 2010-04-30 | 2010-09-22 | 长春理工大学 | 一种将De Bruijn彩色结构光图像转化为赋权有向图模型和赋权有向图模型简化方法 |
| JP2012122975A (ja) * | 2010-12-10 | 2012-06-28 | Maxell Finetech Ltd | 光学式距離計測装置、光学式距離計測装置の距離計測方法および距離計測用プログラム |
| WO2013008804A1 (ja) * | 2011-07-11 | 2013-01-17 | キヤノン株式会社 | 計測装置および情報処理装置 |
| JP2013036983A (ja) * | 2011-07-11 | 2013-02-21 | Canon Inc | 計測装置および情報処理装置 |
| US9014433B2 (en) | 2011-07-11 | 2015-04-21 | Canon Kabushiki Kaisha | Measurement apparatus, information processing apparatus, information processing method, and storage medium |
| JP2015137933A (ja) * | 2014-01-22 | 2015-07-30 | 富士通株式会社 | 距離測定装置、距離測定方法および距離測定プログラム |
| JP2016176723A (ja) * | 2015-03-18 | 2016-10-06 | キヤノン株式会社 | 計測装置 |
| JP2018204976A (ja) * | 2017-05-30 | 2018-12-27 | キヤノン株式会社 | 距離測定装置、距離測定方法及び撮像装置 |
| JP7005175B2 (ja) | 2017-05-30 | 2022-01-21 | キヤノン株式会社 | 距離測定装置、距離測定方法及び撮像装置 |
| JP2018205037A (ja) * | 2017-05-31 | 2018-12-27 | 株式会社リコー | 評価装置、評価プログラム及び評価方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3884321B2 (ja) | 2007-02-21 |
| US20020196415A1 (en) | 2002-12-26 |
| US7092563B2 (en) | 2006-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3884321B2 (ja) | ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法 | |
| US10902668B2 (en) | 3D geometric modeling and 3D video content creation | |
| CN105049829B (zh) | 滤光片、图像传感器、成像装置以及三维成像*** | |
| CN108052878B (zh) | 人脸识别设备和方法 | |
| US6341016B1 (en) | Method and apparatus for measuring three-dimensional shape of object | |
| CN104634276B (zh) | 三维测量***、拍摄设备和方法、深度计算方法和设备 | |
| US8199335B2 (en) | Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium | |
| US7995097B2 (en) | Techniques of motion estimation when acquiring an image of a scene that may be illuminated with a time varying luminance | |
| CN107370951B (zh) | 图像处理***及方法 | |
| US20080118143A1 (en) | 3D Geometric Modeling And Motion Capture Using Both Single And Dual Imaging | |
| CN107451561A (zh) | 虹膜识别补光方法和装置 | |
| JP3482990B2 (ja) | ３次元画像撮影装置 | |
| JP2004212385A (ja) | 撮影装置とその撮影装置の撮影方法及び制御方法 | |
| US9036907B2 (en) | Method and apparatus for extracting depth edges from images acquired of scenes by cameras with ring flashes forming hue circles | |
| CN108592886B (zh) | 图像采集设备和图像采集方法 | |
| CN107483815B (zh) | 运动物体的拍摄方法和装置 | |
| CN110231018B (zh) | 一种结构光测距方法、装置及计算机可读存储介质 | |
| GB2545394A (en) | Systems and methods for forming three-dimensional models of objects | |
| CN110798619B (zh) | 图像处理方法、装置和电子装置 | |
| KR101407818B1 (ko) | 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법 | |
| CN208536839U (zh) | 图像采集设备 | |
| JP2002027501A (ja) | ３次元画像撮像装置および３次元画像撮像方法 | |
| JP2010078339A (ja) | ３次元形状計測装置および方法並びにプログラム | |
| CN107392955B (zh) | 一种基于亮度的景深估算装置及方法 | |
| KR101346982B1 (ko) | 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050420 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061023 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061116 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121124 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131124 Year of fee payment: 7 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |