JP2003083730A - 3次元情報取得装置、3次元情報取得における投影パターン、及び、3次元情報取得方法 - Google Patents
3次元情報取得装置、3次元情報取得における投影パターン、及び、3次元情報取得方法Info
- Publication number
- JP2003083730A JP2003083730A JP2002128905A JP2002128905A JP2003083730A JP 2003083730 A JP2003083730 A JP 2003083730A JP 2002128905 A JP2002128905 A JP 2002128905A JP 2002128905 A JP2002128905 A JP 2002128905A JP 2003083730 A JP2003083730 A JP 2003083730A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- image
- dimensional information
- gradation
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
についても正しく3次元形状を復元することができるよ
うにする。 【解決手段】色による縞の特徴づけと同一成分の階調に
よる特徴づけを同時に埋め込んだパターンを用いた投影
パターン撮影と、パターン無しフラッシュ撮影とパター
ン無しフラッシュ無し撮影との3種類の被写体撮影を行
ない、それぞれ得られた画像を画像メモリ25に記憶す
る。そして、2次元画像情報生成部26により、それら
3種類の画像から被写体の表面反射率や外光の影響の補
正を行なった後、白色系や淡色系の被写体については色
による特徴、濃色系の被写体については階調による特徴
によってパターン構造を推定し、その推定結果を上記画
像メモリ25に記憶する。奥行き算出部27は、この記
憶されたパターン構造とパターンメモリ21に予め記憶
してある投影されたパターンの情報との対応関係を特定
し、この特定結果に基づいて被写体各部の奥行きを算出
する。
Description
するために、被写体にパターンを投影し、受光パターン
と投光パターンとの対応を求めることにより、奥行き値
を取得可能な3次元情報取得装置、そのような3次元情
報取得における投影パターン、及び、3次元情報取得方
法に関する。
大きく分けて次の2種類がある。一つは、光の伝播時間
の測定による方法であり、もう一つは、三角測量の原理
を利用した方法である。前者は、死角がなく、原理的に
は理想的な方法であるが、現状では、計測時間及び精度
に問題があるため、主に後者の三角測量法が利用されて
いる。
な手法であるアクティブ法と、受動的な手法であるパッ
シブステレオ法とがある。
2台のカメラから得られたステレオの画像間の対応づけ
を行ない、その対応づけの結果と予め計測されている2
台のカメラの位置関係とから三角測量の原理により、被
写体までの距離を求める方法である。この方法は、画像
間の対応づけの困難さが伴う上、テクスチャの無い物体
の形状を求めることができないという欠点を有してい
る。
クティブ法として、上記2台のカメラの一方を光源に置
き換え、物体表面での上記光源の像をもう一方の視点に
設定したカメラで観察し、形状計測する光投影法があ
る。この光投影法は、更に、スポット光投影法、スリッ
ト光投影法及びパターン光投影法に分類することができ
る。
力で被写体の1点しか計測できない。
力で物体の1ラインの計測を行なうことができるが、や
はり、被写体全域の形状計測を行なうためには、投影光
を偏向させながら何度も画像入力を繰り返す必要があ
り、入力に時間がかかる。
は格子パターンのような2次元的なパターンを被写体に
投影するもので、パターン投影画像の入力回数が少なく
てよいため、計測を短時間で行なうことができるという
メリットがある。
も呼ばれ、これは更にパターン形状コード化と階調コー
ド化とに分けられる。
ットの開口幅の分布によるものと、M系列コードを利用
したものとが提案されているが、計測密度及び計測の安
定性に問題があり、実用性に乏しいといわれている。
るものと色によるものとがある。
ターンの明暗ピッチを倍々に変えて投影していく2値パ
ターンによる時系列空間コード化法がよく知られてい
る。この方法は、位置ずれやノイズによるコード化誤り
を±1に抑えることができるなどの優れた特徴を持って
おり、N本のスリット光と同じ分解能を得るためには、
log2N回の2値パターンを投影すればよい。例え
ば、128本のスリット画像と同じ分解能を7枚の2値
パターンの投影で実現できる。
コード化では、三脚に固定せずに手で持って撮影する場
合や、人間や動物などのようにじっと止まっていられな
い被写体の場合に充分に対処できない。なぜなら、投影
回数が多いと手ぶれや被写体のぶれを許容できる時間内
に撮影を終えることができないからである。更に、フラ
ッシュの充電時間や発光量の制約もあり、これらを満足
できる投影回数では済まないからである。
に、2値パターンを多値パターンにすることが考えられ
る。これに関しては、例えば、(精密工学会誌 vo
l.62,No.6,pp.830−834,199
6)中で提案されている。そこでは、フラッシュ撮影画
像とフラッシュ無し撮影画像の各画素での輝度差を階調
数で分割して、作成時の輝度値がどこの区間に収まるか
で多階調を判別している。
線型性がある場合や、反射輝度差が少ない領域において
デコード誤りを起こし易く、通常照明下での安定した測
定が困難であった。また、計測結果が物体表面の色など
の状態に影響されていた。これらの問題を解決すべく、
上記文献中で参照用投影などの提案がされているが、投
影回数が増えてしまうなど現実的ではない。このよう
に、輝度の多階調によるコード化は、輝度の変動の影響
を受け易いため、適切な閾値を設定することが困難であ
った。
ば、(電子情報通信学会論文誌 vol.J61−D,
No.6,pp.411−418,1978)中で提案
されている。図9は、R,G,Bの色によってコード化
された縞パターンの例である。R,G,Bの間に最小輝
度レベルである黒の領域を設けたことによって、光の拡
散による混色を軽減することができるように工夫されて
いる。
ーン投影法における処理の流れを説明する。
パターンを被写体に投影し(ステップS101)、この
投影パターンを撮影した画像データ(Pr,Pg,P
b)を得る(ステップS102)。
r,Pg,Pbの極大位置及び極小位置)を検出する
(ステップS103)。そして、各縞に対し、Pr,P
g,Pbの中で最大となる成分によって当該縞の射出時
の色を特定する(ステップS104)。
方)を書き出し(ステップS105)、受光したコード
系列の各コード番号とパターン射出時のコード系列のコ
ード番号とを、コード系列内の配列関係も含めてマッチ
ングする(ステップS106)。その結果、パターンの
射出位置と反射光の受光位置とを一意的に対応づけるこ
とができ、これに三角測量の原理を適用して奥行き値を
算出する(ステップS107)。
元画像情報とから3次元画像を生成する(ステップS1
08)。
以上のような処理を行なっている。
色によるカラーパターン投影法は、特に濃色系の物体に
対しての3次元形状の測定が困難であった。図9を用い
て、このことを説明する。
んどゼロに近く、R成分の反射信号が強いような表面反
射率特性を持つ物体(つまり、リンゴのような濃い赤の
物体)に対しては、R成分の輝度値において、一つの極
大の信号が得られるが、G成分とB成分の輝度値は、ほ
とんどノイズレベルになってしまう。このような状況下
では、G成分とB成分の縞構造は抽出することすらでき
ず、ましてや、縞を特定することなどできない。つま
り、R,G,Bのうち一つの成分でも、その反射信号が
ゼロに近いような表面反射率特性を持つ物体に対しては
デコードが困難になる。言い換えると、白色系または淡
色系の物体表面に対しては、うまくデコードできるが、
R,G,B成分の反射信号のうち一つでも、ほとんどゼ
ロに近いノイズレベルの値となるような表面反射率特性
を持つ物体に対しては、R,G,Bの組み合わせから求
まる、色による判定は困難になってしまう。
説明したが、格子パターンなどの場合にも同様のことが
あてはまる。
ので、白色系や淡色系だけでなく濃色系の物体に対して
も、コード化されたパターンの投影像から正しいデコー
ドが可能となるような3次元情報取得装置、3次元情報
取得における投影パターン、及び、3次元情報取得方法
を提供することを目的とする。
めに、本発明による3次元情報取得装置は、撮影手段か
ら所定の距離離れた位置から複数の色成分のパターンが
重畳された所定の投影パターンが投影された撮影対象を
上記撮影手段で撮影し、上記撮影手段で撮影された画像
を解析することにより、上記撮影対象の3次元情報を取
得する3次元情報取得装置であって、光源からの光によ
って照明された上記撮影対象を撮影した第1の画像、上
記光源を消灯あるいは遮光して上記光源からの光による
照明を行なわずに上記撮影対象を撮影した第2の画像、
及び上記光源からの光または上記光源と同じ特性を有す
る他の光源からの光を利用して上記投影パターンが投影
された上記撮影対象を撮影した第3の画像を記憶する画
像記憶手段と、上記撮影対象に投影される上記投影パタ
ーンを予め記憶するパターン記憶手段と、上記画像記憶
手段に記憶された上記第1、第2及び第3の画像を利用
して上記撮影対象の表面反射率および外光の影響を補正
し、上記補正を行なって得られたパターン各部の色また
は階調(輝度)に基づいて撮影されたパターンの構造を
推定するパターン構造推定手段と、上記パターン構造推
定手段による上記推定の結果と上記パターン記憶手段に
記憶された上記投影パターンとの対応関係を特定し、上
記対応関係の特定結果に基づいて上記撮影対象の奥行き
値を算出する奥行き算出手段とを備えることを特徴とす
るものである。
は、撮影手段から所定の距離離れた位置から複数の色成
分のパターンが重畳された所定の投影パターンが投影さ
れた撮影対象を上記撮影手段で撮影し、上記撮影手段で
撮影された画像を解析することにより、上記撮影対象の
3次元情報を取得する3次元情報取得方法であって、光
源からの光によって照明された上記撮影対象を撮影する
ことで第1の画像を得、上記光源を消灯あるいは遮光し
て上記光源からの光による照明を行なわずに上記撮影対
象を撮影することで第2の画像を得、上記光源からの光
または上記光源と同じ特性を有する他の光源からの光を
利用して上記投影パターンが投影された上記撮影対象を
撮影することで第3の画像を得、これら第1、第2及び
第3の画像を利用して上記撮影対象の表面反射率および
外光の影響を補正し、上記補正を行なって得られたパタ
ーン各部の色または階調(輝度)に基づいて撮影された
パターンの構造を推定し、上記推定の結果と上記投影し
た所定の投影パターンとの対応関係を特定し、上記対応
関係の特定結果に基づいて上記撮影対象の奥行き値を算
出することを特徴とするものである。
次元情報取得方法によれば、白色系や淡色系物体測定用
である色による特徴と濃色系物体測定用である同一色成
分の階調による特徴という2つの異なる特徴を併せ持つ
投影パターンを用い、第1の画像(光源点灯)と第2の
画像(光源消灯)と第3の画像(パターン投影)とから
撮影対象の表面反射率及び外光の影響を補正して、パタ
ーン特定を行なった上で、奥行き値を算出するようにし
ているので、淡色系物体だけでなく濃色系物体において
も3次元情報を取得することができる。
明による3次元情報取得装置は、撮影手段から所定の距
離離れた位置から複数の色成分のパターンが重畳された
所定の投影パターンが投影された撮影対象を上記撮影手
段で撮影し、上記撮影手段で撮影された画像を解析する
ことにより、上記撮影対象の3次元情報を取得する3次
元情報取得装置であって、光源からの光によって照明さ
れた上記撮影対象を撮影した第1の画像と、上記光源か
らの光または上記光源と同じ特性を有する他の光源から
の光を利用して上記投影パターンが投影された上記撮影
対象を撮影した第2の画像とを記憶する画像記憶手段
と、上記撮影対象に投影される上記投影パターンを予め
記憶するパターン記憶手段と、上記画像記憶手段に記憶
された上記第1及び第2の画像を利用して上記撮影対象
の表面反射率の影響を補正し、上記補正を行なって得ら
れたパターン各部の色または階調(輝度)に基づいて撮
影されたパターンの構造を推定するパターン構造推定手
段と、上記パターン構造推定手段による上記推定の結果
と上記パターン記憶手段に記憶された上記投影パターン
との対応関係を特定し、上記対応関係の特定結果を利用
して上記撮影対象の奥行き値を算出する奥行き算出手段
とを備えることを特徴とするものである。
は、撮影手段から所定の距離離れた位置から複数の色成
分のパターンが重畳された所定の投影パターンが投影さ
れた撮影対象を上記撮影手段で撮影し、上記撮影手段で
撮影された画像を解析することにより、上記撮影対象の
3次元情報を取得する3次元情報取得方法であって、光
源からの光によって照明された上記撮影対象を撮影する
ことで第1の画像を得、上記光源からの光または上記光
源と同じ特性を有する他の光源からの光を利用して上記
投影パターンが投影された上記撮影対象を撮影すること
で第2の画像を得、これら第1及び第2の画像を利用し
て上記撮影対象の表面反射率の影響を補正し、上記補正
を行なって得られたパターン各部の色または階調(輝
度)に基づいて撮影されたパターンの構造を推定し、上
記推定の結果と上記投影した所定の投影パターンとの対
応関係を特定し、上記対応関係の特定結果を利用して上
記撮影対象の奥行き値を算出することを特徴とするもの
である。
次元情報取得方法によれば、白色系や淡色系物体測定用
である色による特徴と濃色系物体測定用である同一色成
分の階調による特徴という2つの異なる特徴を併せ持つ
投影パターンを用い、第1の画像(光源点灯、高速シャ
ッタ)と第2の画像(パターン投影、高速シャッタ)と
から撮影対象の表面反射率及び外光の影響を補正して、
パターン特定を行なった上で、奥行き値を算出するよう
にしているので、淡色系物体だけでなく濃色系物体にお
いても3次元情報を取得することができる。
明による3次元情報取得装置は、撮影手段から所定の距
離離れた位置から複数の色成分のパターンが重畳された
所定の投影パターンが投影された撮影対象を上記撮影手
段で撮影し、上記撮影手段で撮影された画像を解析する
ことにより、上記撮影対象の3次元情報を取得する3次
元情報取得装置であって、上記投影パターンが投影され
た上記撮影対象を撮影した画像を記憶する画像記憶手段
と、上記撮影対象に投影される上記投影パターンを予め
記憶するパターン記憶手段と、上記画像中に含まれるパ
ターンの色により撮影されたパターンの構造を推定する
第1の推定方法と、全ての色成分でない一つ以上の色成
分の階調(輝度)により上記撮影されたパターンの構造
を推定する第2の推定方法とを選択的に実行するパター
ン構造推定手段と、上記パターン構造推定手段による上
記第1または第2の推定方法による推定結果と上記パタ
ーン記憶手段に記憶された上記投影パターンとの対応関
係を特定し、上記対応関係の特定結果を利用して上記撮
影対象の奥行き値を算出する奥行き算出手段とを備える
ことを特徴とするものである。
は、撮影手段から所定の距離離れた位置から複数の色成
分のパターンが重畳された所定の投影パターンが投影さ
れた撮影対象を上記撮影手段で撮影し、上記撮影手段で
撮影された画像を解析することにより、上記撮影対象の
3次元情報を取得する3次元情報取得方法であって、上
記投影パターンが投影された上記撮影対象を撮影するこ
とで画像を得、この画像中に含まれるパターンの色によ
り撮影されたパターン構造を推定する第1の推定方法
と、全ての色成分でない一つ以上の色成分の階調(輝
度)により上記撮影されたパターンの構造を推定する第
2の推定方法とを選択的に実行し、上記第1または第2
の推定方法による推定結果と上記投影した所定の投影パ
ターンとの対応関係を特定し、上記対応関係の特定結果
を利用して上記撮影対象の奥行き値を算出することを特
徴とするものである。
次元情報取得方法によれば、白色系や淡色系物体測定用
である色による特徴と濃色系物体測定用である同一色成
分の階調による特徴という2つの異なる特徴を併せ持つ
投影パターンを用い、色成分が重畳された色(R,G,
B)によりパターン構造を推定する第1の推定方法を実
行することで淡色系物体に対処し、色成分毎(Rのみ,
Gのみ,Bのみ)にパターン構造を推定する第2の推定
方法とを選択的に実行することで濃色系物体に対処する
ことができるので、淡色系物体、濃色系物体の何れにお
いても3次元情報を取得することができる。
明による3次元情報取得における投影パターンは、撮影
対象を撮影した画像を解析して上記撮影対象の3次元情
報を取得するに際して、上記撮影対象に投影される投影
パターンであって、複数の色成分のパターンが重畳され
たものであり、異なる有彩色に着色された複数の領域を
含み、上記有彩色の領域は、上記各色成分のパターンの
所定の階調(輝度)を有する領域の組み合わせで構成さ
れたものであると共に、一つの色成分のパターンにおけ
る任意の上記領域の階調(輝度)は、他の色成分のパタ
ーンにおける上記任意の領域の階調と互いに異なり、こ
れによって上記任意の領域が上記投影パターンの中のど
の領域であるかの対応が特定できるように、上記投影パ
ターンが符号化されていることを特徴とするものであ
る。
影パターンによれば、白色系や淡色系物体測定用である
色による特徴と濃色系物体測定用である同一色成分の階
調による特徴という2つの異なる特徴を併せ持つので、
該投影パターンを用いることで淡色系物体だけでなく濃
色系物体においても3次元情報を取得することができる
ようになる。
の形態を説明する。
1の実施の形態に係る3次元情報取得装置の適用された
3次元形状測定装置1の構成を示す図である。
1の実施の形態に係る3次元情報取得装置2と3次元画
像生成部3とから構成されている。そして、上記3次元
情報取得装置2は、パターンメモリ21、ストロボ2
2、パターン切り替え部23、撮影部24、画像メモリ
25、2次元画像情報生成部26、奥行き算出部27、
及び、制御部28より構成されている。
パターン記憶手段に相当するもので、被写体(図示せ
ず)に投光する投影パターンのコード系列などを記憶し
ておくものである。上記ストロボ22は、光を照射する
ためのものであり、上記パターン切り替え部23は、こ
のストロボ22のストロボ光の強度(光の透過率)を場
所によって変調する投影パターンの有無を切り替えるも
のである。上記撮影部24は、上記撮影手段に相当する
ものであり、上記被写体からの反射光を集光する集光レ
ンズ241と、この集光レンズ241で集めた光を受光
する受光部(撮像素子)242とから構成される。上記
画像メモリ25は、上記画像記憶手段に相当するもので
あり、上記撮影部24で撮影した画像を記憶する。上記
2次元画像情報生成部26は、上記パターン構造抽出手
段に相当するものであり、上記画像メモリ25に記憶さ
れている画像から2次元画像情報を生成する機能に加え
て、上記画像メモリ25に記憶されている画像から撮影
されたパターンの構造を推定し、その推定結果を上記画
像メモリ25に記憶させる機能も備えている。上記奥行
き算出部27は、上記奥行き算出手段に相当するもので
あり、上記画像メモリ25に記憶されている上記推定結
果と上記パターンメモリ21に記憶されている投影パタ
ーンとから奥行き値を算出する。そして、上記制御部2
8は、上記ストロボ22の発光制御、上記パターン切り
替え部23の投影パターンの有無の切り替え制御、及び
上記受光部242の受光制御、などを行なうものであ
る。
実施の形態では、透過型の液晶装置により構成してお
り、上記切り替え制御は、上記制御部28が、上記パタ
ーンメモリ21に記憶されている投影パターンに従った
像を上記透過型液晶装置に表示する/しない、により行
なうようになっている。あるいは、上記パターン切り替
え部23は、上記パターンメモリ21に記憶された投影
パターンと同様のパターンを構成したフィルムを上記ス
トロボ22の光路上に機械的に進退させる構造とし、そ
の進退を上記制御部28で制御するようにしても良い。
更には、機械的に進退させるのではなく、操作者が人手
によりストロボ光路上に進退させるものであっても構わ
ない。この場合には、制御部28は直接パターン切り替
え部23を制御しないが、例えば、図示しないインジケ
ータやブザーにより、操作者にそのような進退を指示す
る、あるいは、逆に、操作者の上記フィルムの進退操作
後にその操作終了を当該制御部28に指示するための図
示しない操作部の操作を判別するような構成を取ること
が好ましい。
2次元画像情報生成部26で生成された2次元画像情報
と、上記奥行き算出部27で算出された奥行き値とか
ら、3次元画像を生成するものである。
置1の動作について説明する。予め、上記パターンメモ
リ21には、投影パターンのコード情報を記憶してお
く。そして、まず、上記制御部28は、上記パターンメ
モリ21より上記パターンコード情報を読み出し、その
パターンコード情報に従ったパターンを上記パターン切
り替え部23に表示して、上記ストロボ22を発光させ
ることで、上記パターンコード情報に従ったパターン付
きフラッシュ即ち投影パターンを被写体(図示せず)に
投光する。このとき、上記被写体からの反射光は、上記
集光レンズ241によって集光され、上記受光部242
に導かれる。よって、上記制御部28は、上記ストロボ
22の発光に同期して上記受光部242を動作させ、こ
の受光部242で得られた画像を上記画像メモリ25に
記憶する。
え部23の上記パターン表示を無くした上で、上記と同
様にストロボ22及び受光部242を制御することで、
パターン無し且つフラッシュ発光有り撮影を行ない、得
られた画像を上記画像メモリ25に記憶する。
影を行なって、得られた画像を上記画像メモリ25に記
憶する。
元画像情報生成部26では、上記画像メモリ25に記憶
された上記3種類の画像から、撮影されたパーンの構造
を表すパターン情報を抽出し、画像メモリ25に書き込
む。この抽出方法の詳細については後述する。なお、2
次元画像情報生成部26は、上記パターン無しフラッシ
ュ画像を上記画像メモリ25から読み出し、平面的な写
真情報(2次元画像情報)をいつでも生成できるように
なっている。
記パターンメモリ21に記憶された投影パターンのコー
ド情報と、上記画像メモリ25に書き込まれた上記2次
元画像情報生成部26で抽出されたパターン情報とを比
較、照合し、投影したパターンと撮影されたパターンと
の対応関係を決定する。続いて、反射パターン受光位置
と焦点距離の情報とから入射角を算出し、上記投影パタ
ーンの射出地点と被写体から反射されたパターンの受光
地点との間の距離間隔と光の射出角度の情報とから、三
角測量の原理によって奥行き値を算出する。
て、上記2次元画像情報生成部26で生成された2次元
画像情報と、上記奥行き算出部27で算出された奥行き
値とから、3次元画像を生成する。
用いて説明する。図2は、上記パターンメモリ21に記
憶されたコード情報に従って被写体に投影されるコード
済みのカラーパターン4を示しており、更に、このカラ
ーパターン4の下には、R,G,B成分それぞれの輝度
値(階調値)を示してある。なお、この図2の例は縞パ
ターンであるが、格子パターンを用いても構わないこと
は勿論である。
に対して、極大(有彩色)と極小(黒)が交互に配置さ
れており、同図には、パターンの縞を識別するためのコ
ード番号を(1),(2),(3)で表している。ここ
で、コード番号kが割り当てられている縞のR,G,B
の各成分をそれぞれr[k],g[k],b[k]で表
すと、図2の例では、各コード番号のR,G,Bの値を
次式のように表現することができる。なお、この値は、
R,G,Bをそれぞれ256階調とした場合である。
ンになっている。
パターン中の縞を射出時のパターン中の縞に一意的に対
応づけることは、従来と同じであるが、本実施の形態で
は、縞の特徴づけに特長がある。
なる成分間の関係、例えば、縞の大小、縞の大きさの
比、色相などを用いて縞の特徴づけを行なっているもの
である。この同一縞内における色による特徴づけは、例
えば、以下の関係を用いて縞のコード番号を特定するこ
とができるコード化方法である。
が無いぐらいに右辺が左辺よりも充分大きいということ
を示している。
分の大小関係を用いて縞の特徴づけを行なっているもの
である。この同一成分の階調(輝度)による特徴づけ
は、例えば、以下の式の関係を用いて縞のコード番号を
特定することができるコード化方法である。
ド化パターンを用いることが、本実施の形態の特長であ
る。
ド化パターンを、R,G,Bの3成分を共に反射してく
るような白色系や淡色系の被写体に対しては、上記第1
の特徴である色による特徴によって、パターン射出時の
縞の色(コード番号)を特定し、R,G,Bの1成分ま
たは2成分を反射するような濃色系の被写体に対して
は、上記第2の特徴である同一成分の階調による特徴に
よってパターン射出時の縞の色を特定するというふうに
使い分ける。
くる白色系や淡色系の被写体に色相などの色による特徴
を用いてパターン射出時の縞を特定する方法を採用する
メリットは、次のように説明できる。R,G,Bの3成
分を色相H、彩度S、明度VからなるHSV空間にマッ
ピングして考える。その変換式として、次の式が知られ
ている。
このとき、彩度Sはk2倍、明度Vはk倍になってしま
うが、色相Hは不変である。即ち、各成分の輝度値が、
局所領域毎にそろって定数倍になる状況を想定すると、
色相の判定方法は、その影響を受けないが、輝度の階調
による判定方法は、影響が大きい。なお、HSV空間で
なく、均等色空間(HCV)に変換してもほぼ同様のこ
とが言える。
合に、各縞を縞の並びに対して一意的に特定するため
に、本実施の形態では、最低階調レベル(最小輝度レベ
ル)である黒縞を挟んで隣り合う有彩色縞のコード番号
の並びが、一意的となるようなコード系列(コードの並
び)を生成する。
いた場合に、黒縞を挟んで隣り合う有彩色縞の(同色を
許した)組み合わせを考えると、(1)(2)(2)
(3)(1)(3)(3)(2)(1)というコード系
列ができる。更に長いコード系列が必要ならば、色数を
4乃至5色に増やす、または、2本の縞の組み合わせで
なく、3乃至4本の縞の色(コード番号)の組み合わせ
が一意的となるようなコード系列を採用すればよい。
化パターンは、従来から知られている縞と縞の間の検出
法にも利用することができることは勿論であるが、本実
施の形態のような装置と組み合わせる事で、より効果を
発揮できるものである。
て説明する。まず、コード化済みのカラーパターン4を
被写体に投影する(ステップS1)。次に、投影された
パターンを撮影し、その画像データ(Pr,Pg,P
b)を上記画像メモリ25に入力する(ステップS
2)。
行ない、その画像データ(Fr,Fg,Fb)を上記画
像メモリ25に入力する(ステップS3)。
影を行ない、その画像データ(Nr,Ng,Nb)を上
記画像メモリ25に入力する(ステップS4)。これら
ステップS1からステップS4までの一連の処理は、一
瞬のうちに行なわれ、必要な情報の入力が完了する。
おいて、上記画像メモリ25に入力した情報からパター
ンの縞構造を抽出し、各縞に対して当該縞の射出時の色
を特定し、デコード処理を実施していくことになるが、
それぞれの処理を以下に詳しく説明する。
面反射率特性の違いによる影響を取り除き、射出時のパ
ターンを推定する処理を施す。ここで、図4を用いて、
この処理に必要な関係式を説明する。図4のように、フ
ラッシュの投光強度をL、パターンの透過率をT、被写
体の表面反射率をR、外光の強度をSとし、これらを受
光した画像の各画素の関数として考える。ここで、上記
パターン切り替え部23から射出した光線と上記受光部
242に入射する光線が、光の拡散などを無視して1対
1の関係で記述できると近似して考えれば、 投影パターン撮影画像の画素強度P=R(TL+S) フラッシュ撮影画像の画素強度F=R(L+S) フラッシュ無し撮影画像の画素強度N=RS と書くことができる。これら3式を連立させてTについ
て解くと T=(P−N)/(F−N) 例えば、R,G,Bの3成分に対して画素強度値が得ら
れる場合には、R,G,Bが互いに独立であると近似し
て考えれば、R,G,Bに対する推定パターン透過率T
r,Tg,Tbは、 Tr=(Pr−Nr)/(Fr−Nr) Tg=(Pg−Ng)/(Fg−Ng) Tb=(Pb−Nb)/(Fb−Nb) という式によって求められる。ただし、ノイズなどの影
響に対処するため、分母がゼロに近い場合には、その成
分を除いて考える必要がある。
を再開する。即ち、ステップS5で、上式の分母、即ち
(Fi−Ni)(ここでi=r,g,b)が、予め設定
してあるノイズレベル以上であるか否かを判定し、ノイ
ズレベル以上であるならば、その成分の推定パターン透
過率Tiを上式を用いて算出する(ステップS6)。こ
れに対して、ノイズレベル未満であれば、その成分の推
定パターン透過率を不定とし、以後の処理に影響を与え
ないような値を入力しておく(ステップS7)。
極大、極小位置)を検出する(ステップS8)。これに
は、例えばSobelフィルタなどにより、縞のエッジ
部分を抽出し、エッジに挟まれた区間で、Tiの強度が
極大となるか、極小となるかを判定する。この縞構造の
抽出処理においても投影パターン撮影画像Piでなく、
推定パターン透過率Tiを用いているので、外光や被写
体の表面反射率特性の違いによる影響を大幅に緩和する
ことができる。
当該縞の射出時の色を特定する処理に移る。
r,g,b)がノイズレベル以上となる成分数を調べる
(ステップS9)。
3次元形状は推定できないことになる(ステップS1
0)。これは、黒色の被写体の場合である。
であれば、1成分のみ反射する領域において、推定パタ
ーン透過率Tiのヒストグラムを作成する(ステップS
11)。このヒストグラムに対し、例えば、判別分析の
手法により、ヒストグラムをパターン作成時の階調数、
例えば本実施の形態では3分割に分割するような閾値を
自動的に設定する(ステップS12)。次に、上記ステ
ップS12で設定した閾値を用いて、推定パターン透過
率Tiの階調を判定する(ステップS13)。そして、
上記判別した推定パターン透過率Tiの階調によって当
該縞の射出時の色を特定し、コード番号を推定する(ス
テップS14)。
であれば、その2成分の推定パターン透過率Tiの大き
さを比較する(ステップS15)。次に、2成分の推定
パターン透過率Tiの和を算出し、2成分を反射する領
域における和の値のヒストグラムを作成する(ステップ
S16)。次に、例えば判別分析の手法により、ヒスト
グラムを2分割するような閾値を自動的に設定する(ス
テップS17)。その後、この設定した閾値を用いて、
2成分の推定パターン透過率Tiの和の階調を判定する
(ステップS18)。そして、2成分の推定パターン透
過率Ti間の大小関係及び2成分の推定パターン透過率
Tiの和に対する階調値によって、当該縞の射出時の色
を特定し、コード番号を推定する(ステップS19)。
であれば、3成分の(255*Ti)の値から色相を算
出し(ステップS20)、算出された色相が射出時の色
相のどれに最も近いかを判定し、当該縞の射出時の色を
特定し、コード番号を推定する(ステップS21)。な
お、色相で縞の色を特定する代わりに、例えば、3成分
間の比または大小関係を利用してもよい。
して行なうことで、コード番号の列が推定され、その推
定結果が、この2次元画像情報生成部26で抽出された
上記パターン情報として、上記画像メモリ25に書き込
まれる。
のパターン情報におけるコード番号の列と、上記パター
ンメモリ21に記憶されているコード系列とを比較、照
合する。本実施の形態では、黒縞を挟んで隣り合う有彩
色縞の組み合わせが一致しているものを探す。上記推定
されたコード番号の列における黒縞を挟んで隣り合う有
彩色縞の組み合わせと一致するコード系列が複数ある場
合には、例えば、上記推定されたコード番号の列と連続
して一致するコード番号との長さが最大のコード系列を
信頼性が高いとして選択する。この処理を繰り返すこと
によって、デコード処理が完了し、投光パターンと受光
パターンとの各縞に対して、1対1の対応関係が定ま
る。最後に、三角測量の原理から被写体の各点での奥行
き値が算出される。
ば、濃色系の被写体においても射出時の縞の色を推定可
能なパターンを提供しているので、白色系または淡色系
だけでなく濃色系の被写体に対してまで3次元形状を取
得することができ、被写体の色に関する制約を緩めるこ
とができる効果がある。
えば、赤い被写体上に、R成分の強度変化がないパター
ン領域(GまたはBの強度変化があるパターン領域)が
投射された場合に縞と縞の間の変化を検出できず、その
部分に対して3次元形状の取得ができないという問題が
あった。これに対し、本実施の形態によれば、縞と縞の
間ではR,G,B全ての成分値が必ず変化しているの
で、黒以外のどんな被写体にパターンが投影されても、
縞と縞の間の変化を必ず検出することができ、3次元形
状の取得ができない領域を減らす効果がある。勿論、本
実施の形態のようなコード済みのカラーパターン4を用
い、従来から知られている縞と縞の間の検出法を適用す
ることによっても、この効果を得ることができるが、本
実施の形態のような装置と組み合わせる事で、より効果
を発揮できる。
は電球など、様々な色の外光の下でも、または、表面反
射率特性が異なる種々の被写体に対しても、パターン付
きフラッシュ撮影画像、パターン無しフラッシュ撮影画
像及びパターン無しフラッシュ無し撮影画像の3種類の
画像を用いることによって、パターンの射出時の色をよ
り正確に確定することができ、3次元計測の誤りを少な
くできる効果がある。
間ではR,G,B全ての成分値が必ず変化しているの
で、黒以外のどんな被写体にパターンが投影されても、
縞と縞との間の変化を必ず検出することができ、3次元
形状の取得ができない領域を減らす効果がある。
全ての成分値が、極大、極小となる区間または領域を交
互に配置しているので、縞と縞との境界で変曲点を許す
ようなパターン構造に比べて、縞と縞との境界を容易に
検出できる効果がある。更に、光の拡散によって縞と縞
との境界が消失してしまう危険性を減らす効果もある。
の実施の形態を説明する。本第2の実施の形態は、方法
部分は、上記第1の実施の形態で用いた3次元情報取得
方法と同じであるが、装置構成が異なる。
報取得装置2は、図5に示すように、被写体に投光する
パターンを記憶しておくパターンメモリ21、光を照射
するためのストロボ22、場所によって光の強度(透過
率)を変調するパターンの有無を切り替えるパターン切
り替え部23、反射された光を集光する集光レンズ24
1R及び241L、これら集光レンズ241R及び24
1Lで集光された光を受光する受光部242R及び52
42、撮影された画像を記憶する画像メモリ25R及び
25L、これら画像メモリ25R及び25Lに記憶され
た画像から2次元画像情報を生成する2次元画像情報生
成部26、上記画像メモリ25R及び25Lに記憶され
た画像と上記パターンメモリ21に記憶されたパターン
との対応を決定する対応関係決定部29、該対応関係決
定部29で決定された対応関係から三角測量の原理を用
いて奥行き値を算出する奥行き算出部27、及び上記ス
トロボ22、パターン切り替え部23、受光部242
R,242Lを制御する制御部28から構成されてい
る。
と共に3次元形状測定装置1を構成する3次元画像生成
部3は、上記2次元画像情報生成部26に記憶された2
次元画像情報と上記奥行き算出部27で算出された奥行
き値とから3次元画像を生成するようになっている。
る3次元情報取得装置2の動作について説明する。
22を発光し、上記パターン切り替え部23で光を変調
して被写体(図示せず)にパターンを投影する。この投
影像は、2つの異なる位置、例えば上記ストロボ22及
びパターン切り替え部23の右と左に配置された集光用
レンズ241R及び241Lによって集光される。続い
て、集光された光は、それぞれ受光部242R、242
Lで受光され、各々、画像メモリ25R、25Lに記憶
される。パターン無しフラッシュ撮影画像とパターン無
しフラッシュ無し撮影画像についてもそれぞれ同様にし
て画像メモリ25R、25Lに記憶される。上記第1の
実施の形態との違いは、これら3種類の画像が、視点の
異なる2個所の画像メモリに書き込まれている点であ
る。
合と同様に、上記2次元画像情報生成部26で左右それ
ぞれについて3種類の画像から、射出時の推定パターン
情報を算出し、画像メモリ25R及び25Lに書き込
む。
上記パターンメモリ21に記憶されたパターン情報と上
記画像メモリ25Rに書き込んだ右の推定パターン情
報、上記パターンメモリ21に記憶されたパターン情報
と上記画像メモリ25Lに書き込んだ左の推定パターン
情報、上記右の画像メモリ25Rに書き込んだパターン
情報と上記左の画像メモリ25Lに書き込んだパターン
情報の推定パターン情報、及び上記右の受光部242R
と上記左の受光部242Lとで受光したパターン無しフ
ラッシュ投影画像、の4通りの対応づけが行なわれる。
題となるテクスチャの無い領域への対応づけの困難さが
かなり軽減されている。
投影したパターンと撮影されたパターンとの対応関係を
奥行き値算出の手がかりとしたが、本実施の形態におい
ては、左右のパターン無し画像及びパターン有り画像の
対応関係をも利用できるので、より信頼性の高い対応づ
けを実現できる。
よれば、2つ以上の視点に置かれた撮像素子でパターン
の投影像を取得し、投影したパターンと撮影されたパタ
ーンとの対応づけだけでなく、複数画像間の対応づけも
行なうため、より正確な対応づけが可能となり、計測精
度と信頼性が向上する効果がある。
の実施の形態を説明する。
は、前述の第1の実施の形態あるいは第2の実施の形態
のそれと同様である。異なる点は、高速シャッタ(例え
ば、1/500秒)で撮影することによって外光の影響
を抑える点である。これによって、パターン無しフラッ
シュ無し撮影を省くことが可能になるので、投影パター
ン撮影とパターン無しフラッシュ撮影との2回で画像の
取り込みが完了する。
実施の形態等よりも、少し簡素化される。図6を用い
て、これを説明する。
被写体に投影する(ステップS1)。次に、投影された
パターンを撮影し、その画像データ(Pr,Pg,P
b)を上記画像メモリ25に入力する(ステップS
2)。
行ない、その画像データ(Fr,Fg,Fb)を上記画
像メモリ25に入力する(ステップS3)。これらステ
ップS1からステップS3までの一連の処理は、一瞬の
うちに行なわれ、必要な情報の入力が完了する。
おいて、上記画像メモリ25に入力した情報からパター
ンの縞構造を抽出し、各縞に対して当該縞の射出時の色
を特定し、デコード処理を実施していくことになるが、
それぞれの処理を以下に詳しく説明する。
面反射率特性の違いによる影響を取り除き、射出時のパ
ターンを推定する処理を施す。ここで、図4を用いて、
この処理に必要な関係式を説明する。図4のように、フ
ラッシュの投光強度をL、パターンの透過率をT、被写
体の表面反射率をR、外光の強度をSとし、これらを受
光した画像の各画素の関数として考える。ここで、上記
パターン切り替え部23から射出した光線と上記受光部
242に入射する光線が、光の拡散などを無視して1対
1の関係で記述できると近似して考えれば、 投影パターン撮影画像の画素強度P=R(TL+S) フラッシュ撮影画像の画素強度F=R(L+S) と書くことができる。本第3の実施の形態においては、
高速シャッタで撮影するので、Sを近似的に0とみなす
ことができる。この時、これら2式を連立させTについ
て解くと T=P/F 例えば、R,G,Bの3成分に対して画素強度値が得ら
れる場合には、R,G,Bが互いに独立であると近似し
て考えれば、R,G,Bに対する推定パターン透過率T
r,Tg,Tbは、 Tr=Pr/Fr Tg=Pg/Fg Tb=Pb/Fb という式によって求められる。ただし、ノイズなどの影
響に対処するため、分母がゼロに近い場合には、その成
分を除いて考える必要がある。
上式の分母、即ちFi(ここでi=r,g,b)が、予
め設定してあるノイズレベル以上か否かを判定し、そう
であれば、その成分の推定パターン透過率Tiを上式を
用いて算出する(ステップS32)。これに対して、ノ
イズレベル未満であれば、その成分の推定パターン透過
率を不定とし、以後の処理に影響を与えないような値を
入力しておく(ステップS7)。
極大、極小位置)を検出する(ステップS8)。これに
は、例えばSobelフィルタなどにより、縞のエッジ
部分を抽出し、エッジに挟まれた区間で、Tiの強度が
極大となるか、極小となるかを判定する。この縞構造の
抽出処理においても投影パターン撮影画像Piでなく、
推定パターン透過率Tiを用いているので、外光や被写
体の表面反射率特性の違いによる影響を大幅に緩和する
ことができ、縞を安定して抽出することができる。
当該縞の射出時の色を特定する処理に移る。
b)がノイズレベル以上となる成分数を調べる(ステッ
プS33)。
3次元形状は推定できないことになる(ステップS1
0)。これは、黒色の被写体の場合である。
であれば、1成分のみ反射する領域において、推定パタ
ーン透過率Tiのヒストグラムを作成する(ステップS
11)。このヒストグラムに対し、例えば、判別分析の
手法により、ヒストグラムをパターン作成時の階調数に
分割するような閾値を自動的に設定する(ステップS1
2)。次に、上記ステップS12で設定した閾値を用い
て、推定パターン透過率Tiの階調を判定する(ステッ
プS13)。そして、上記判別した推定パターン透過率
Tiの階調によって当該縞の射出時の色を特定し、コー
ド番号を推定する(ステップS14)。
であれば、その2成分の推定パターン透過率Tiの大き
さを比較する(ステップS15)。次に、2成分の推定
パターン透過率Tiの和を算出し、2成分を反射する領
域における和の値のヒストグラムを作成する(ステップ
S16)。次に、例えば判別分析の手法により、ヒスト
グラムを2分割するような閾値を自動的に設定する(ス
テップS17)。その後、この設定した閾値を用いて、
2成分の推定パターン透過率Tiの和の階調を判定する
(ステップS18)。そして、2成分の推定パターン透
過率Ti間の大小関係及び2成分の推定パターン透過率
Tiの和に対する階調値によって、当該縞の射出時の色
を特定し、コード番号を推定する(ステップS19)。
であれば、3成分の(255*Ti)の値から色相を算
出し(ステップS20)、算出された色相が射出時の色
相のどれに最も近いかを判定し、当該縞の射出時の色を
特定し、コード番号を推定する(ステップS21)。な
お、色相で縞の色を特定する代わりに、例えば、3成分
間の比または大小関係を利用してもよい。
して実施していくことにより、コード番号の列が推定さ
れ、その推定結果が、この2次元画像情報生成部26で
抽出された上記パターン情報として、上記画像メモリ2
5に書き込まれる。
パターン情報におけるコード番号の列と、上記パターン
メモリ21に記憶されているコード系列とを照合した
後、奥行きを算出するまでの処理は、前述の第1の実施
の形態と同じである。
の実施の形態を説明する。
述の第1の実施の形態と少し異なる。
施の形態におけるストロボ22及びパターン切り替え部
23の代わりに、本第4の実施の形態では、パターン照
射用ストロボ22−1と、該パターン照射用ストロボ2
2−1の前面に配されたフィルム上に設けられた固定の
パターン41と、ストロボ22−2とを備えた構成にな
っている。ここで、前述したような投影パターン撮影の
際には上記パターン照射用ストロボ22−1を発光さ
せ、上記パターン無しフラッシュ撮影の際には上記スト
ロボ22−2を発光させるよう、上記制御部28によっ
て制御されるものである。
前述の第1の実施の形態におけるパターン切り替え部2
23のような可動部がないため、壊れにくい、消費電力
が少なくて済む、等のメリットがある。
−1による照射条件と上記ストロボ22−2による照射
条件とが、ほぼ同一の条件となるようにする必要があ
る。即ち、発光特性が似たものを互いに近い位置に設置
し、フラッシュの照射方向も同じにしておく方が望まし
い。
実施の形態、または、高速シャッタ撮影による上記第3
の実施の形態と同様である。
の実施の形態を説明する。
ついては、前述の第1の実施の形態あるいは前述の第2
の実施の形態のそれと同様である。異なる点は、高速シ
ャッタで撮影することによって外光の影響を抑える点、
及び、例えばリンゴのようにほぼ均一で一様な色をして
いる被写体を3次元計測の対象物として想定している点
である。
影とパターン無しフラッシュ撮影とを省き、投影パター
ン撮影1回のみで画像の取り込みを完了させる。
の実施の形態等よりも、さらに簡素化される。図8を用
いて、これを説明する。
被写体に投影する(ステップS1)。次に、投影された
パターンを撮影し、その画像データ(Pr,Pg,P
b)を上記画像メモリ25に入力する(ステップS
2)。
おいて、上記画像メモリ25に入力した情報からパター
ンの縞構造を抽出し、各縞に対して当該縞の射出時の色
を特定し、デコード処理を実施していくことになるが、
それぞれの処理を以下に詳しく説明する。
b)が、予め設定してあるノイズレベル以上であるか否
かを判定し(ステップS51)、ノイズレベル未満であ
れば、その成分の推定パターン透過率を不定とし、以後
の処理に影響を与えないような値を入力しておく(ステ
ップS7)。
ンの縞構造(Piのグラフの極大、極小位置)を検出す
る(ステップS52)。これには、例えばSobelフ
ィルタなどにより、縞のエッジ部分を抽出し、エッジに
挟まれた区間で、Piの強度が極大となるか、極小とな
るかを判定する。
当該縞の射出時の色を特定する処理に移る。
b)がノイズレベル以上となる成分数を調べる(ステッ
プS53)。
3次元形状は推定できないことになる(ステップS1
0)。これは、黒色の被写体の場合である。
であれば、1成分のみ反射する領域において、推定パタ
ーン透過率Piのヒストグラムを作成する(ステップS
54)。このヒストグラムに対し、例えば、判別分析の
手法により、ヒストグラムをパターン作成時の階調数に
分割するような閾値を自動的に設定する(ステップS1
2)。次に、上記ステップS12で設定した閾値を用い
て、推定パターン透過率Piの階調を判定する(ステッ
プS55)。そして、上記判別した推定パターン透過率
Piの階調によって当該縞の射出時の色を特定し、コー
ド番号を推定する(ステップS56)。
であれば、その2成分の推定パターン透過率Piの大き
さを比較する(ステップS57)。次に、2成分の推定
パターン透過率Piの和を算出し、2成分を反射する領
域における和の値のヒストグラムを作成する(ステップ
S58)。次に、例えば判別分析の手法により、ヒスト
グラムを2分割するような閾値を自動的に設定する(ス
テップS17)。その後、この設定した閾値を用いて、
2成分の推定パターン透過率Piの和の階調を判定する
(ステップS59)。そして、2成分の推定パターン透
過率Pi間の大小関係及び2成分の推定パターン透過率
Piの和に対する階調値によって、当該縞の射出時の色
を特定し、コード番号を推定する(ステップS60)。
であれば、3成分のPiの値から色相を算出し(ステッ
プS61)、算出された色相が射出時の色相のどれに最
も近いかを判定し、当該縞の射出時の色を特定し、コー
ド番号を推定する(ステップS21)。なお、色相で縞
の色を特定する代わりに、例えば、3成分間の比または
大小関係を利用してもよい。
して実施していくことにより、コード番号の列が推定さ
れ、その推定結果が、この2次元画像情報生成部26で
抽出された上記パターン情報として、上記画像メモリ2
5に書き込まれる。
おける、このパターン情報におけるコード番号の列と、
上記パターンメモリ21に記憶されているコード系列と
を照合した後、奥行きを算出するまでの処理は、前述の
第1実施の形態と同じである。
したが、本発明は上述した実施の形態に限定されるもの
ではなく、本発明の要旨の範囲内で種々の変形や応用が
可能である。
求の範囲に記載したものに加えて以下のようなものを含
む。
影像をR,G,B信号のように複数の独立な周波数成分
に分けて受光する素子を有する3次元画像取得装置にお
いて、該カラーパターンは、全信号成分の組み合わせで
ある色によるコード化と、階調によるコード化と、が同
時に一つのパターン中に備わっていることを特徴とする
3次元情報取得装置。
ラッシュ(ストロボ)やプロジェクタなどの照明手段を
発光させて被写体に向けて投影し、この投影像をカメラ
で撮影して得られるパターン付きフラッシュ撮影画像
と、パターン無しでフラッシュ撮影して得られるフラッ
シュ撮影画像と、パターン無しフラッシュ無しで撮影し
て得られるフラッシュ無し撮影画像と、の3タイプの画
像を取得し、これら3種類の画像からパターンの縞構造
の抽出及び縞のデコードを行なうことを特徴とする3次
元情報取得装置。
コード化済みのパターンをフラッシュ(ストロボ)やプ
ロジェクタなどの照明手段を発光させて被写体に向けて
投影し、この投影像をカメラで撮影して得られるパター
ン付きフラッシュ撮影画像と、パターン無しでフラッシ
ュ撮影して得られるフラッシュ撮影画像と、パターン無
しフラッシュ無しで撮影して得られるフラッシュ無し撮
影画像と、の3タイプの画像を取得し、これら3種類の
画像からパターンの縞構造の抽出及び縞のデコードを行
なうことを特徴とする(1)に記載の3次元情報取得装
置。
ーコード化パターンの有無を切り替えるパターン切り替
え部と、上記パターンを投射するための光投射部と、上
記カラーパターンのコードを記憶するパターンメモリ
と、被写体から反射された光を受光する受光部と、上記
画像メモリに記憶されたパターンと上記パターンメモリ
で記憶されたパターンとから被写体の奥行き情報を算出
する奥行き算出部と、上記受光部で受光された情報を記
憶する画像メモリと、上記画像メモリから2次元画像情
報を生成する2次元画像情報生成部と、上記2次元画像
情報生成部で生成された2次元画像情報と上記奥行き算
出部で算出された奥行き値とから3次元画像を生成する
3次元画像生成部と、を有することを特徴とする(1)
に記載の3次元情報取得装置。
受光部と上記画像メモリとをそれぞれ複数具備し、これ
ら複数の画像メモリ同士の内容をマッチングし、画像間
の対応づけを行なう対応関係決定部と、上記対応関係決
定部で決定された情報を基に上記奥行き算出部で被写体
の奥行き値を算出し、上記2次元画像情報生成部で生成
された2次元画像情報と上記奥行き算出部で算出された
奥行き値とから3次元画像を生成する3次元画像生成部
と、を更に具備することを特徴とする(4)に記載の3
次元情報取得装置。
影像をR,G,B信号のように複数の独立な周波数成分
に分けて受光し、上記受光した信号をデコードすること
で3次元情報を取得する3次元画像取得方法において、
該カラーパターンは、全ての信号成分値の組み合わせで
ある色によるコード化と、階調によるコード化と、が同
時に一つのパターン中に備わっていることを特徴とする
3次元情報取得方法。
ターンまたは格子パターンのような縞状のパターンであ
って、縞と縞の間では、上記全ての信号成分値が必ず変
化していることを特徴とする(6)に記載の3次元情報
取得方法。
全ての信号成分値が、極大または極小となる区間もしく
は領域を交互に配置したことを特徴とする(6)に記載
の3次元情報取得方法。
以上の色の組み合わせから一意的に縞が特定されること
を特徴とする(6)に記載の3次元情報取得方法。
ラッシュ撮影画像及びフラッシュ無し撮影画像を用い
て、利用可能な反射光の成分を判定し、全ての成分が利
用可能ならば、色によってコード番号を特定し、全ての
成分ではないが一つ以上の成分が利用可能ならば、各成
分の階調によってコード番号を特定することを特徴とす
る(6)に記載の3次元情報取得方法。
成分のパターンは、隣り合う領域が互いに階調(輝度)
が異なるように複数の領域が配置されたものであること
を特徴とする請求項26乃至28の何れかに記載の3次
元情報取得方法。
成分のパターンは、階調(輝度)が極大となる領域と極
小となる領域を交互に配置されたものであることを特徴
とする請求項26乃至28の何れかに記載の3次元情報
取得方法。
領域は、最低階調(最小輝度)レベルであることを特徴
とする(12)に記載の3次元情報取得方法。
彩色に着色された複数の領域を含み、上記投影パターン
中の有彩色の領域は、上記各色成分のパターンの所定の
階調(輝度)を有する領域の組み合わせで構成されたも
のであると共に、一つの色成分のパターンにおける任意
の上記領域の階調(輝度)は、他の色成分のパターンに
おける上記任意の領域の階調と互いに異なり、これによ
って上記任意の領域が上記投影パターンの中のどの領域
であるかの対応が特定できるように、上記投影パターン
が符号化されている、ことを特徴とする請求項26乃至
28の何れかに記載の3次元情報取得方法。
Bの3成分であることを特徴とする請求項26乃至28
の何れかに記載の3次元情報取得方法。
記撮影されたパターンの色により上記撮影されたパター
ンの構造を推定する第1の推定方法と、全ての色成分で
ない一つ以上の色成分の階調(輝度)により上記撮影さ
れたパターンの構造を推定する第2の推定方法とを選択
的に実行することで行なわれ、上記第1または第2の推
定方法による推定結果が以降の処理に利用されることを
特徴とする請求項26又は27に記載の3次元情報取得
方法。
白色系や淡色系物体測定用である色による特徴と濃色系
物体測定用である同一色成分の階調による特徴という2
つの異なる特徴を併せ持つ投影パターンを用い、投影パ
ターン撮影画像とフラッシュ撮影画像とフラッシュ無し
撮影画像との3種類の画像から、反射率、外光補正を行
なって、パターン特定を行なった上で、奥行き値を算出
するようにしているので、淡色系物体だけでなく濃色系
物体においても3次元情報を取得することができる3次
元情報取得装置、3次元情報取得における投影パター
ン、及び、3次元情報取得方法を提供することができ
る。
合わせ)による縞の特徴づけと同一成分の階調による特
徴づけとを一つのパターン中に同時に埋め込んだコード
化を行ない、白色系や淡色系の物体については、色によ
る特徴によって、濃色系の物体についてはノイズレベル
未満の反射成分値の階調による特徴によってデコードし
ているので、濃色系も含めた様々な色の物体に対して投
光パターン中の位置と受光パターン中の位置を確実に対
応づけることが可能な3次元情報取得装置、3次元情報
取得における投影パターン、及び、3次元情報取得方法
を提供することができる。その結果、様々な色の物体に
対して3次元形状の測定をより正確に行なえる効果があ
る。
得装置の適用された3次元形状測定装置のブロック構成
図である。
パターンの例を示す図である。
色を特定するまでの流れを説明するためのフローチャー
トを示す図である。
メータについて説明するための図である。
得装置の適用された3次元形状測定装置のブロック構成
図である。
射出時の色を特定するまでの流れを説明するためのフロ
ーチャートを示す図である。
得装置の適用された3次元形状測定装置のブロック構成
図である。
射出時の色を特定するまでの流れを説明するためのフロ
ーチャートを示す図である。
る。
理の流れを説明するためのフローチャートを示す図であ
る。
Claims (28)
- 【請求項1】 撮影手段から所定の距離離れた位置から
複数の色成分のパターンが重畳された所定の投影パター
ンが投影された撮影対象を上記撮影手段で撮影し、上記
撮影手段で撮影された画像を解析することにより、上記
撮影対象の3次元情報を取得する3次元情報取得装置で
あって、 光源からの光によって照明された上記撮影対象を撮影し
た第1の画像、上記光源を消灯あるいは遮光して上記光
源からの光による照明を行なわずに上記撮影対象を撮影
した第2の画像、及び上記光源からの光または上記光源
と同じ特性を有する他の光源からの光を利用して上記投
影パターンが投影された上記撮影対象を撮影した第3の
画像を記憶する画像記憶手段と、 上記撮影対象に投影される上記投影パターンを予め記憶
するパターン記憶手段と、 上記画像記憶手段に記憶された上記第1、第2及び第3
の画像を利用して上記撮影対象の表面反射率および外光
の影響を補正し、上記補正を行なって得られたパターン
各部の色または階調に基づいて撮影されたパターンの構
造を推定するパターン構造推定手段と、 上記パターン構造推定手段による上記推定の結果と上記
パターン記憶手段に記憶された上記投影パターンとの対
応関係を特定し、上記対応関係の特定結果に基づいて上
記撮影対象の奥行き値を算出する奥行き算出手段と、 を具備することを特徴とする3次元情報取得装置。 - 【請求項2】 上記投影パターンにおける各色成分のパ
ターンは、隣り合う領域が互いに階調が異なるように複
数の領域が配置されたものであることを特徴とする請求
項1に記載の3次元情報取得装置。 - 【請求項3】 上記投影パターンにおける各色成分のパ
ターンは、階調が極大となる領域と極小となる領域を交
互に配置されたものであることを特徴とする請求項1に
記載の3次元情報取得装置。 - 【請求項4】 上記階調が極小となる領域は、最低階調
レベルであることを特徴とする請求項3に記載の3次元
情報取得装置。 - 【請求項5】 上記投影パターンは、異なる有彩色に着
色された複数の領域を含み、 上記投影パターン中の有彩色の領域は、上記各色成分の
パターンの所定の階調を有する領域の組み合わせで構成
されたものであると共に、一つの色成分のパターンにお
ける任意の上記領域の階調は、他の色成分のパターンに
おける上記任意の領域の階調と互いに異なり、これによ
って上記任意の領域が上記投影パターンの中のどの領域
であるかの対応が特定できるように、上記投影パターン
が符号化されている、 ことを特徴とする請求項1に記載の3次元情報取得装
置。 - 【請求項6】 上記複数の色成分は、R,G,Bの3成
分であることを特徴とする請求項1に記載の3次元情報
取得装置。 - 【請求項7】 上記パターン構造推定手段は、上記撮影
されたパターンの色により上記撮影されたパターンの構
造を推定する第1の推定方法と、全ての色成分でない一
つ以上の色成分の階調により上記撮影されたパターンの
構造を推定する第2の推定方法とを選択的に実行し、 上記奥行き算出手段は、上記第1または第2の推定方法
による推定結果を利用して上記撮影対象の奥行き値を算
出することを特徴とする請求項1に記載の3次元情報取
得装置。 - 【請求項8】 撮影手段から所定の距離離れた位置から
複数の色成分のパターンが重畳された所定の投影パター
ンが投影された撮影対象を上記撮影手段で撮影し、上記
撮影手段で撮影された画像を解析することにより、上記
撮影対象の3次元情報を取得する3次元情報取得装置で
あって、 光源からの光によって照明された上記撮影対象を撮影し
た第1の画像と、上記光源からの光または上記光源と同
じ特性を有する他の光源からの光を利用して上記投影パ
ターンが投影された上記撮影対象を撮影した第2の画像
とを記憶する画像記憶手段と、 上記撮影対象に投影される上記投影パターンを予め記憶
するパターン記憶手段と、 上記画像記憶手段に記憶された上記第1及び第2の画像
を利用して上記撮影対象の表面反射率の影響を補正し、
上記補正を行なって得られたパターン各部の色または階
調に基づいて撮影されたパターンの構造を推定するパタ
ーン構造推定手段と、 上記パターン構造推定手段による上記推定の結果と上記
パターン記憶手段に記憶された上記投影パターンとの対
応関係を特定し、上記対応関係の特定結果を利用して上
記撮影対象の奥行き値を算出する奥行き算出手段と、 を具備することを特徴とする3次元情報取得装置。 - 【請求項9】 上記投影パターンにおける各色成分のパ
ターンは、隣り合う領域が互いに階調が異なるように複
数の領域が配置されたものであることを特徴とする請求
項8に記載の3次元情報取得装置。 - 【請求項10】 上記投影パターンにおける各色成分の
パターンは、階調が極大となる領域と極小となる領域を
交互に配置されたものであることを特徴とする請求項8
に記載の3次元情報取得装置。 - 【請求項11】 上記階調が極小となる領域は、最低階
調レベルであることを特徴とする請求項10に記載の3
次元情報取得装置。 - 【請求項12】 上記投影パターンは、異なる有彩色に
着色された複数の領域を含み、 上記投影パターン中の有彩色の領域は、上記各色成分の
パターンの所定の階調を有する領域の組み合わせで構成
されたものであると共に、一つの色成分のパターンにお
ける任意の上記領域の階調は、他の色成分のパターンに
おける上記任意の領域の階調と互いに異なり、これによ
って上記任意の領域が上記投影パターンの中のどの領域
であるかの対応が特定できるように、上記投影パターン
が符号化されている、 ことを特徴とする請求項8に記載の3次元情報取得装
置。 - 【請求項13】 上記複数の色成分は、R,G,Bの3
成分であることを特徴とする請求項8に記載の3次元情
報取得装置。 - 【請求項14】 上記パターン構造推定手段は、上記撮
影されたパターンの色により上記撮影されたパターンの
構造を推定する第1の推定方法と、全ての色成分でない
一つ以上の色成分の階調により上記撮影されたパターン
の構造を推定する第2の推定方法とを選択的に実行し、 上記奥行き算出手段は、上記第1または第2の推定方法
による推定結果を利用して上記撮影対象の奥行き値を算
出することを特徴とする請求項8に記載の3次元情報取
得装置。 - 【請求項15】 撮影手段から所定の距離離れた位置か
ら複数の色成分のパターンが重畳された所定の投影パタ
ーンが投影された撮影対象を上記撮影手段で撮影し、上
記撮影手段で撮影された画像を解析することにより、上
記撮影対象の3次元情報を取得する3次元情報取得装置
であって、 上記投影パターンが投影された上記撮影対象を撮影した
画像を記憶する画像記憶手段と、 上記撮影対象に投影される上記投影パターンを予め記憶
するパターン記憶手段と、 上記画像中に含まれるパターンの色により撮影されたパ
ターンの構造を推定する第1の推定方法と、全ての色成
分でない一つ以上の色成分の階調により上記撮影された
パターンの構造を推定する第2の推定方法とを選択的に
実行するパターン構造推定手段と、 上記パターン構造推定手段での上記第1または第2の推
定方法による推定結果と上記パターン記憶手段に記憶さ
れた上記投影パターンとの対応関係を特定し、上記対応
関係の特定結果を利用して上記撮影対象の奥行き値を算
出する奥行き算出手段と、 を具備することを特徴とする3次元情報取得装置。 - 【請求項16】 上記投影パターンにおける各色成分の
パターンは、隣り合う領域が互いに階調が異なるように
複数の領域が配置されたものであることを特徴とする請
求項15に記載の3次元情報取得装置。 - 【請求項17】 上記投影パターンにおける各色成分の
パターンは、階調が極大となる領域と極小となる領域を
交互に配置されたものであることを特徴とする特徴とす
る請求項15に記載の3次元情報取得装置。 - 【請求項18】 上記階調が極小となる領域は、最低階
調レベルであることを特徴とする請求項17に記載の3
次元情報取得装置。 - 【請求項19】 上記投影パターンは、異なる有彩色に
着色された複数の領域を含み、 上記投影パターン中の有彩色の領域は、上記各色成分の
パターンの所定の階調を有する領域の組み合わせで構成
されたものであると共に、一つの色成分のパターンにお
ける任意の上記領域の階調は、他の色成分のパターンに
おける上記任意の領域の階調と互いに異なり、これによ
って上記任意の領域が上記投影パターンの中のどの領域
であるかの対応が特定できるように、上記投影パターン
が符号化されている、 ことを特徴とする請求項15に記載の3次元情報取得装
置。 - 【請求項20】 上記複数の色成分は、R,G,Bの3
成分であることを特徴とする請求項15に記載の3次元
情報取得装置。 - 【請求項21】 撮影対象を撮影した画像を解析して上
記撮影対象の3次元情報を取得するに際して、上記撮影
対象に投影される投影パターンであって、 複数の色成分のパターンが重畳されたものであり、 異なる有彩色に着色された複数の領域を含み、 上記有彩色の領域は、上記各色成分のパターンの所定の
階調を有する領域の組み合わせで構成されたものである
と共に、一つの色成分のパターンにおける任意の上記領
域の階調は、他の色成分のパターンにおける上記任意の
領域の階調と互いに異なり、これによって上記任意の領
域が上記投影パターンの中のどの領域であるかの対応が
特定できるように、上記投影パターンが符号化されてい
る、 ことを特徴とする3次元情報取得における投影パター
ン。 - 【請求項22】 上記各色成分のパターンは、隣り合う
領域が互いに階調が異なるように複数の領域が配置され
たものであることを特徴とする請求項21に記載の3次
元情報取得における投影パターン。 - 【請求項23】 上記各色成分のパターンは、階調が極
大となる領域と極小となる領域を交互に配置されたもの
であることを特徴とする請求項21に記載の3次元情報
取得における投影パターン。 - 【請求項24】 上記階調が極小となる領域は、最低階
調レベルであることを特徴とする請求項21に記載の3
次元情報取得における投影パターン。 - 【請求項25】 上記複数の色成分は、R,G,Bの3
成分であることを特徴とする請求項21に記載の3次元
情報取得における投影パターン。 - 【請求項26】 撮影手段から所定の距離離れた位置か
ら複数の色成分のパターンが重畳された所定の投影パタ
ーンが投影された撮影対象を上記撮影手段で撮影し、上
記撮影手段で撮影された画像を解析することにより、上
記撮影対象の3次元情報を取得する3次元情報取得方法
であって、 光源からの光によって照明された上記撮影対象を撮影す
ることで第1の画像を得、 上記光源を消灯あるいは遮光して上記光源からの光によ
る照明を行なわずに上記撮影対象を撮影することで第2
の画像を得、 上記光源からの光または上記光源と同じ特性を有する他
の光源からの光を利用して上記投影パターンが投影され
た上記撮影対象を撮影することで第3の画像を得、 これら第1、第2及び第3の画像を利用して上記撮影対
象の表面反射率および外光の影響を補正し、上記補正を
行なって得られたパターン各部の色または階調に基づい
て撮影されたパターンの構造を推定し、 上記推定の結果と上記投影した所定の投影パターンとの
対応関係を特定し、 上記対応関係の特定結果に基づいて上記撮影対象の奥行
き値を算出する、 ことを特徴とする3次元情報取得方法。 - 【請求項27】 撮影手段から所定の距離離れた位置か
ら複数の色成分のパターンが重畳された所定の投影パタ
ーンが投影された撮影対象を上記撮影手段で撮影し、上
記撮影手段で撮影された画像を解析することにより、上
記撮影対象の3次元情報を取得する3次元情報取得方法
であって、 光源からの光によって照明された上記撮影対象を撮影す
ることで第1の画像を得、 上記光源からの光または上記光源と同じ特性を有する他
の光源からの光を利用して上記投影パターンが投影され
た上記撮影対象を撮影することで第2の画像を得、 これら第1及び第2の画像を利用して上記撮影対象の表
面反射率の影響を補正し、上記補正を行なって得られた
パターン各部の色または階調に基づいて撮影されたパタ
ーンの構造を推定し、 上記推定の結果と上記投影した所定の投影パターンとの
対応関係を特定し、 上記対応関係の特定結果を利用して上記撮影対象の奥行
き値を算出する、 ことを特徴とする3次元情報取得方法。 - 【請求項28】 撮影手段から所定の距離離れた位置か
ら複数の色成分のパターンが重畳された所定の投影パタ
ーンが投影された撮影対象を上記撮影手段で撮影し、上
記撮影手段で撮影された画像を解析することにより、上
記撮影対象の3次元情報を取得する3次元情報取得方法
であって、 上記投影パターンが投影された上記撮影対象を撮影する
ことで画像を得、 この画像中に含まれるパターンの色により撮影されたパ
ターン構造を推定する第1の推定方法と、全ての色成分
でない一つ以上の色成分の階調により上記撮影されたパ
ターンの構造を推定する第2の推定方法とを選択的に実
行し、 上記第1または第2の推定方法による推定結果と上記投
影した所定の投影パターンとの対応関係を特定し、 上記対応関係の特定結果を利用して上記撮影対象の奥行
き値を算出する、 ことを特徴とする3次元情報取得方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002128905A JP3884321B2 (ja) | 2001-06-26 | 2002-04-30 | 3次元情報取得装置、3次元情報取得における投影パターン、及び、3次元情報取得方法 |
US10/179,494 US7092563B2 (en) | 2001-06-26 | 2002-06-24 | Three-dimensional information acquisition apparatus and three-dimensional information acquisition method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001193555 | 2001-06-26 | ||
JP2001-193555 | 2001-06-26 | ||
JP2002128905A JP3884321B2 (ja) | 2001-06-26 | 2002-04-30 | 3次元情報取得装置、3次元情報取得における投影パターン、及び、3次元情報取得方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003083730A true JP2003083730A (ja) | 2003-03-19 |
JP3884321B2 JP3884321B2 (ja) | 2007-02-21 |
Family
ID=26617592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002128905A Expired - Fee Related JP3884321B2 (ja) | 2001-06-26 | 2002-04-30 | 3次元情報取得装置、3次元情報取得における投影パターン、及び、3次元情報取得方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7092563B2 (ja) |
JP (1) | JP3884321B2 (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004288181A (ja) * | 2003-03-21 | 2004-10-14 | Mitsubishi Electric Research Laboratories Inc | 出力画像を表示面の形状に適応させる方法 |
JP2006058092A (ja) * | 2004-08-18 | 2006-03-02 | Fuji Xerox Co Ltd | 3次元形状測定装置および方法 |
JP2007017355A (ja) * | 2005-07-08 | 2007-01-25 | Omron Corp | ステレオ対応づけのための投光パターンの生成装置及び生成方法 |
WO2008120457A1 (ja) * | 2007-03-29 | 2008-10-09 | School Juridical Person Of Fukuoka Kogyo Daigaku | 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム |
JP2009186217A (ja) * | 2008-02-04 | 2009-08-20 | Nikon Corp | 3次元形状測定装置および3次元形状測定方法 |
JP2010504522A (ja) * | 2006-09-21 | 2010-02-12 | トムソン ライセンシング | 3次元モデル取得のための方法及びシステム |
CN101840575A (zh) * | 2010-04-30 | 2010-09-22 | 长春理工大学 | 一种将De Bruijn彩色结构光图像转化为赋权有向图模型和赋权有向图模型简化方法 |
JP2011029790A (ja) * | 2009-07-22 | 2011-02-10 | Honda Motor Co Ltd | 撮像システム |
JP2012122975A (ja) * | 2010-12-10 | 2012-06-28 | Maxell Finetech Ltd | 光学式距離計測装置、光学式距離計測装置の距離計測方法および距離計測用プログラム |
WO2013008804A1 (ja) * | 2011-07-11 | 2013-01-17 | キヤノン株式会社 | 計測装置および情報処理装置 |
JP2015137933A (ja) * | 2014-01-22 | 2015-07-30 | 富士通株式会社 | 距離測定装置、距離測定方法および距離測定プログラム |
JP2016176723A (ja) * | 2015-03-18 | 2016-10-06 | キヤノン株式会社 | 計測装置 |
JP2018205037A (ja) * | 2017-05-31 | 2018-12-27 | 株式会社リコー | 評価装置、評価プログラム及び評価方法 |
JP2018204976A (ja) * | 2017-05-30 | 2018-12-27 | キヤノン株式会社 | 距離測定装置、距離測定方法及び撮像装置 |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3884321B2 (ja) * | 2001-06-26 | 2007-02-21 | オリンパス株式会社 | 3次元情報取得装置、3次元情報取得における投影パターン、及び、3次元情報取得方法 |
US8224064B1 (en) * | 2003-05-21 | 2012-07-17 | University Of Kentucky Research Foundation, Inc. | System and method for 3D imaging using structured light illumination |
TWI257072B (en) * | 2003-06-20 | 2006-06-21 | Ind Tech Res Inst | 3D color information acquisition method and device thereof |
WO2005008174A1 (ja) * | 2003-07-23 | 2005-01-27 | Brother Kogyo Kabushiki Kaisha | 3次元形状検出装置、撮像装置、及び、3次元形状検出方法 |
US7929752B2 (en) * | 2003-10-31 | 2011-04-19 | Nano Picture Co., Ltd. | Method for generating structured-light pattern |
JP4923500B2 (ja) | 2005-09-29 | 2012-04-25 | カシオ計算機株式会社 | プロジェクタ装置、及びその光源制御方法 |
US7551807B2 (en) * | 2005-11-14 | 2009-06-23 | Korea Institute Of Industrial Technology | Apparatus and method for searching for 3-dimensional shapes |
US7970177B2 (en) * | 2006-03-23 | 2011-06-28 | Tyzx, Inc. | Enhancing stereo depth measurements with projected texture |
WO2007142643A1 (en) * | 2006-06-08 | 2007-12-13 | Thomson Licensing | Two pass approach to three dimensional reconstruction |
JP2008070611A (ja) * | 2006-09-14 | 2008-03-27 | Casio Comput Co Ltd | 撮像装置、露出条件調整方法及びプログラム |
US8265343B2 (en) * | 2006-12-25 | 2012-09-11 | Nec Corporation | Apparatus, method and program for distance measurement |
US8659698B2 (en) | 2007-05-17 | 2014-02-25 | Ilya Blayvas | Compact 3D scanner with fixed pattern projector and dual band image sensor |
FI20075975L (fi) * | 2007-12-31 | 2009-07-01 | Metso Automation Oy | Rainan mittaus |
US8150105B2 (en) * | 2008-05-22 | 2012-04-03 | International Electronic Machines Corporation | Inspection using three-dimensional profile information |
US8274507B2 (en) * | 2009-07-02 | 2012-09-25 | Robert Bosch Gmbh | Method and apparatus for obtaining 3-dimensional data with a portable device |
US8908958B2 (en) * | 2009-09-03 | 2014-12-09 | Ron Kimmel | Devices and methods of generating three dimensional (3D) colored models |
EP2496910A4 (en) | 2009-11-04 | 2016-11-16 | Technologies Numetrix Inc | DEVICE AND METHOD FOR OBTAINING THREE-DIMENSIONAL OBJECT SURFACE DATA |
EP2510504A4 (en) * | 2009-12-07 | 2013-08-14 | Photon X Inc | 3D VISUALIZATION SYSTEM |
US9179106B2 (en) * | 2009-12-28 | 2015-11-03 | Canon Kabushiki Kaisha | Measurement system, image correction method, and computer program |
KR101628383B1 (ko) * | 2010-02-26 | 2016-06-21 | 연세대학교 산학협력단 | 영상 처리 장치 및 방법 |
DE102010022827A1 (de) * | 2010-06-05 | 2011-12-08 | TSK Prüfsysteme GmbH | Höhenvermessungs-Vorrichtung zur Höhenvermessung einer Kraftfahrzeug-Zentralelektrik |
JP5587137B2 (ja) * | 2010-10-29 | 2014-09-10 | キヤノン株式会社 | 測定装置及び測定方法 |
US9325966B2 (en) * | 2012-07-30 | 2016-04-26 | Canon Kabushiki Kaisha | Depth measurement using multispectral binary coded projection and multispectral image capture |
US20140085426A1 (en) * | 2012-09-24 | 2014-03-27 | Alces Technology, Inc. | Structured light systems with static spatial light modulators |
KR101314101B1 (ko) * | 2012-09-24 | 2013-10-04 | 위프코 주식회사 | 3차원 계측 시스템 및 그 방법 |
JP6144976B2 (ja) | 2013-06-26 | 2017-06-07 | キヤノン株式会社 | 情報処理装置、組み付け装置、情報処理方法、及びプログラム |
JP6420530B2 (ja) | 2013-06-26 | 2018-11-07 | キヤノン株式会社 | 情報処理装置、計測システム、制御システム、光量決定方法、プログラム及び記憶媒体 |
US20150009290A1 (en) * | 2013-07-05 | 2015-01-08 | Peter MANKOWSKI | Compact light module for structured-light 3d scanning |
DE202014100974U1 (de) * | 2014-03-04 | 2015-06-08 | Retsch Technology Gmbh | Vorrichtung zur Bestimmung der Partikelgröße und/oder der Partikelform eines Partikelgemisches |
US9325973B1 (en) * | 2014-07-08 | 2016-04-26 | Aquifi, Inc. | Dynamically reconfigurable optical pattern generator module useable with a system to rapidly reconstruct three-dimensional data |
US9729809B2 (en) | 2014-07-11 | 2017-08-08 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and driving method of semiconductor device or electronic device |
US9503708B2 (en) | 2014-11-03 | 2016-11-22 | Aquifi, Inc. | Systems and methods for reducing z-thickness and zero-order effects in depth cameras |
US9881235B1 (en) * | 2014-11-21 | 2018-01-30 | Mahmoud Narimanzadeh | System, apparatus, and method for determining physical dimensions in digital images |
FR3030066B1 (fr) * | 2014-12-16 | 2017-12-22 | Commissariat Energie Atomique | Projecteur de lumiere structuree et scanner tridimensionnel comportant un tel projecteur |
US10186034B2 (en) * | 2015-01-20 | 2019-01-22 | Ricoh Company, Ltd. | Image processing apparatus, system, image processing method, calibration method, and computer-readable recording medium |
JP6478713B2 (ja) | 2015-03-04 | 2019-03-06 | キヤノン株式会社 | 計測装置および計測方法 |
JP2017003331A (ja) * | 2015-06-05 | 2017-01-05 | キヤノン株式会社 | 被計測物の形状を計測する計測装置、算出装置、算出方法及びプログラム |
CN105300319B (zh) * | 2015-11-20 | 2017-11-07 | 华南理工大学 | 一种基于彩色光栅的快速三维立体重建方法 |
US9800795B2 (en) * | 2015-12-21 | 2017-10-24 | Intel Corporation | Auto range control for active illumination depth camera |
WO2018200685A2 (en) | 2017-04-27 | 2018-11-01 | Ecosense Lighting Inc. | Methods and systems for an automated design, fulfillment, deployment and operation platform for lighting installations |
CN107516324B (zh) * | 2017-07-20 | 2019-12-17 | 大连理工大学 | 一种基于光条几何特征突变的目标边界提取方法 |
JP6897389B2 (ja) * | 2017-07-25 | 2021-06-30 | 富士通株式会社 | 判別用コンピュータプログラム、判別装置及び判別方法ならびに通信システム |
US10559211B2 (en) | 2017-11-27 | 2020-02-11 | Uber Technologies, Inc. | Real-time service provider progress monitoring |
US10733473B2 (en) * | 2018-09-20 | 2020-08-04 | Uber Technologies Inc. | Object verification for a network-based service |
US10999299B2 (en) * | 2018-10-09 | 2021-05-04 | Uber Technologies, Inc. | Location-spoofing detection system for a network service |
US11089279B2 (en) * | 2018-12-06 | 2021-08-10 | Htc Corporation | 3D image processing method, camera device, and non-transitory computer readable storage medium |
CN114080535A (zh) * | 2019-06-28 | 2022-02-22 | 佳能株式会社 | 测量设备、摄像设备、测量***、控制方法以及程序 |
TWI773133B (zh) * | 2020-07-10 | 2022-08-01 | 大陸商廣州印芯半導體技術有限公司 | 測距裝置以及測距方法 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4687326A (en) * | 1985-11-12 | 1987-08-18 | General Electric Company | Integrated range and luminance camera |
DE4130237A1 (de) * | 1991-09-11 | 1993-03-18 | Zeiss Carl Fa | Verfahren und vorrichtung zur dreidimensionalen optischen vermessung von objektoberflaechen |
JP3347385B2 (ja) * | 1992-03-27 | 2002-11-20 | オリンパス光学工業株式会社 | 内視鏡画像処理装置 |
US6445814B2 (en) * | 1996-07-01 | 2002-09-03 | Canon Kabushiki Kaisha | Three-dimensional information processing apparatus and method |
US6438272B1 (en) * | 1997-12-31 | 2002-08-20 | The Research Foundation Of State University Of Ny | Method and apparatus for three dimensional surface contouring using a digital video projection system |
US6064423A (en) * | 1998-02-12 | 2000-05-16 | Geng; Zheng Jason | Method and apparatus for high resolution three dimensional display |
US6078307A (en) * | 1998-03-12 | 2000-06-20 | Sharp Laboratories Of America, Inc. | Method for increasing luminance resolution of color panel display systems |
JP2000292134A (ja) * | 1999-04-07 | 2000-10-20 | Minolta Co Ltd | 3次元情報入力カメラ |
CA2267519A1 (en) * | 1999-04-13 | 2000-10-13 | Inspeck Inc. | Optical full human body 3d digitizer |
JP3417377B2 (ja) * | 1999-04-30 | 2003-06-16 | 日本電気株式会社 | 三次元形状計測方法及び装置並びに記録媒体 |
DE19928341C2 (de) * | 1999-06-21 | 2002-06-20 | Inb Vision Ag | Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen |
US6341016B1 (en) * | 1999-08-06 | 2002-01-22 | Michael Malione | Method and apparatus for measuring three-dimensional shape of object |
JP2001159510A (ja) * | 1999-12-01 | 2001-06-12 | Matsushita Electric Ind Co Ltd | 三次元形状計測方法及びその装置 |
US6700669B1 (en) * | 2000-01-28 | 2004-03-02 | Zheng J. Geng | Method and system for three-dimensional imaging using light pattern having multiple sub-patterns |
US6937348B2 (en) * | 2000-01-28 | 2005-08-30 | Genex Technologies, Inc. | Method and apparatus for generating structural pattern illumination |
EP1126412B1 (en) * | 2000-02-16 | 2013-01-30 | FUJIFILM Corporation | Image capturing apparatus and distance measuring method |
JP4040825B2 (ja) * | 2000-06-12 | 2008-01-30 | 富士フイルム株式会社 | 画像撮像装置及び距離測定方法 |
US6509559B1 (en) * | 2000-06-20 | 2003-01-21 | Ppt Vision, Inc. | Binary optical grating and method for generating a moire pattern for 3D imaging |
US6668078B1 (en) * | 2000-09-29 | 2003-12-23 | International Business Machines Corporation | System and method for segmentation of images of objects that are occluded by a semi-transparent material |
US6618123B2 (en) * | 2000-10-20 | 2003-09-09 | Matsushita Electric Industrial Co., Ltd. | Range-finder, three-dimensional measuring method and light source apparatus |
US6573912B1 (en) * | 2000-11-07 | 2003-06-03 | Zaxel Systems, Inc. | Internet system for virtual telepresence |
JP2002191058A (ja) * | 2000-12-20 | 2002-07-05 | Olympus Optical Co Ltd | 3次元画像取得装置および3次元画像取得方法 |
WO2002075245A1 (en) * | 2001-03-13 | 2002-09-26 | Solutionix Co., Ltd. | Apparatus and method for measuring three dimensional shape with multi-stripe patterns |
JP3519698B2 (ja) * | 2001-04-20 | 2004-04-19 | 照明 與語 | 3次元形状測定方法 |
JP3884321B2 (ja) * | 2001-06-26 | 2007-02-21 | オリンパス株式会社 | 3次元情報取得装置、3次元情報取得における投影パターン、及び、3次元情報取得方法 |
JP2003042735A (ja) * | 2001-08-01 | 2003-02-13 | Minolta Co Ltd | 3次元計測方法および装置並びにコンピュータプログラム |
-
2002
- 2002-04-30 JP JP2002128905A patent/JP3884321B2/ja not_active Expired - Fee Related
- 2002-06-24 US US10/179,494 patent/US7092563B2/en not_active Expired - Fee Related
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004288181A (ja) * | 2003-03-21 | 2004-10-14 | Mitsubishi Electric Research Laboratories Inc | 出力画像を表示面の形状に適応させる方法 |
JP2006058092A (ja) * | 2004-08-18 | 2006-03-02 | Fuji Xerox Co Ltd | 3次元形状測定装置および方法 |
JP2007017355A (ja) * | 2005-07-08 | 2007-01-25 | Omron Corp | ステレオ対応づけのための投光パターンの生成装置及び生成方法 |
JP4577126B2 (ja) * | 2005-07-08 | 2010-11-10 | オムロン株式会社 | ステレオ対応づけのための投光パターンの生成装置及び生成方法 |
US8284194B2 (en) | 2006-09-21 | 2012-10-09 | Thomson Licensing | Method and system for three-dimensional model acquisition |
JP2010504522A (ja) * | 2006-09-21 | 2010-02-12 | トムソン ライセンシング | 3次元モデル取得のための方法及びシステム |
WO2008120457A1 (ja) * | 2007-03-29 | 2008-10-09 | School Juridical Person Of Fukuoka Kogyo Daigaku | 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム |
JP2008249432A (ja) * | 2007-03-29 | 2008-10-16 | Fukuoka Institute Of Technology | 非静止物体の三次元画像計測装置、三次元画像計測方法および三次元画像計測プログラム |
JP2009186217A (ja) * | 2008-02-04 | 2009-08-20 | Nikon Corp | 3次元形状測定装置および3次元形状測定方法 |
JP2011029790A (ja) * | 2009-07-22 | 2011-02-10 | Honda Motor Co Ltd | 撮像システム |
CN101840575A (zh) * | 2010-04-30 | 2010-09-22 | 长春理工大学 | 一种将De Bruijn彩色结构光图像转化为赋权有向图模型和赋权有向图模型简化方法 |
JP2012122975A (ja) * | 2010-12-10 | 2012-06-28 | Maxell Finetech Ltd | 光学式距離計測装置、光学式距離計測装置の距離計測方法および距離計測用プログラム |
WO2013008804A1 (ja) * | 2011-07-11 | 2013-01-17 | キヤノン株式会社 | 計測装置および情報処理装置 |
JP2013036983A (ja) * | 2011-07-11 | 2013-02-21 | Canon Inc | 計測装置および情報処理装置 |
US9014433B2 (en) | 2011-07-11 | 2015-04-21 | Canon Kabushiki Kaisha | Measurement apparatus, information processing apparatus, information processing method, and storage medium |
JP2015137933A (ja) * | 2014-01-22 | 2015-07-30 | 富士通株式会社 | 距離測定装置、距離測定方法および距離測定プログラム |
JP2016176723A (ja) * | 2015-03-18 | 2016-10-06 | キヤノン株式会社 | 計測装置 |
JP2018204976A (ja) * | 2017-05-30 | 2018-12-27 | キヤノン株式会社 | 距離測定装置、距離測定方法及び撮像装置 |
JP7005175B2 (ja) | 2017-05-30 | 2022-01-21 | キヤノン株式会社 | 距離測定装置、距離測定方法及び撮像装置 |
JP2018205037A (ja) * | 2017-05-31 | 2018-12-27 | 株式会社リコー | 評価装置、評価プログラム及び評価方法 |
Also Published As
Publication number | Publication date |
---|---|
JP3884321B2 (ja) | 2007-02-21 |
US20020196415A1 (en) | 2002-12-26 |
US7092563B2 (en) | 2006-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3884321B2 (ja) | 3次元情報取得装置、3次元情報取得における投影パターン、及び、3次元情報取得方法 | |
US10902668B2 (en) | 3D geometric modeling and 3D video content creation | |
CN105049829B (zh) | 滤光片、图像传感器、成像装置以及三维成像*** | |
CN108052878B (zh) | 人脸识别设备和方法 | |
US6341016B1 (en) | Method and apparatus for measuring three-dimensional shape of object | |
CN104634276B (zh) | 三维测量***、拍摄设备和方法、深度计算方法和设备 | |
US8199335B2 (en) | Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium | |
US7995097B2 (en) | Techniques of motion estimation when acquiring an image of a scene that may be illuminated with a time varying luminance | |
CN107370951B (zh) | 图像处理***及方法 | |
US20080118143A1 (en) | 3D Geometric Modeling And Motion Capture Using Both Single And Dual Imaging | |
CN107451561A (zh) | 虹膜识别补光方法和装置 | |
JP3482990B2 (ja) | 3次元画像撮影装置 | |
JP2004212385A (ja) | 撮影装置とその撮影装置の撮影方法及び制御方法 | |
US9036907B2 (en) | Method and apparatus for extracting depth edges from images acquired of scenes by cameras with ring flashes forming hue circles | |
CN108592886B (zh) | 图像采集设备和图像采集方法 | |
CN107483815B (zh) | 运动物体的拍摄方法和装置 | |
CN110231018B (zh) | 一种结构光测距方法、装置及计算机可读存储介质 | |
GB2545394A (en) | Systems and methods for forming three-dimensional models of objects | |
CN110798619B (zh) | 图像处理方法、装置和电子装置 | |
KR101407818B1 (ko) | 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법 | |
CN208536839U (zh) | 图像采集设备 | |
JP2002027501A (ja) | 3次元画像撮像装置および3次元画像撮像方法 | |
JP2010078339A (ja) | 3次元形状計測装置および方法並びにプログラム | |
CN107392955B (zh) | 一种基于亮度的景深估算装置及方法 | |
KR101346982B1 (ko) | 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050420 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061023 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061116 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121124 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131124 Year of fee payment: 7 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |