JP4091455B2 - ３次元形状計測方法及び３次元形状計測装置並びにその処理プログラムと記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は被計測物体の３次元形状を計測する３次元形状計測装置に関し、特に計測産業、通信産業、映像産業等の分野において使用される３次元形状計測装置に適用して有効な技術に関するものである。
【０００２】
【従来の技術】
近年、携帯機器等で３次元画像が取り扱われる様になり、３次元画像の入力手段として、小型、低コスト、低消費電力、計測環境や計測範囲に制限の無い３次元形状計測装置が求められている。ところが、従来の３次元計測装置ではこれらの条件を全て満たせるものが存在しなかった。
【０００３】
例えば、被計測物体に光を照射して計測するアクティブ型３次元計測装置は、照射光源を駆動するため消費電力が大きい、計測距離に制限がある、環境光に制限があり例えば太陽光の元では動作できない等の欠点を有する。また、これらの手法は照射光にレーザを用いる場合が多いが、この場合、安全性の観点においても民生用としては不適である。
【０００４】
一方、被計測物体に特別な光を照射すること無く計測を行うパッシブ型３次元計測装置があれば上記の問題を解決できる。しかしながら、パッシブ型に属する３次元計測方法は性能に難点がある他、特に信頼性が低いため、大半の方法は実用的な計測装置を作れる段階に至っていない。
【０００５】
ところで、Shape from Focusと呼ばれるパッシブ型に属する３次元計測方法がある（例えば非特許文献１参照）。この方法は異なった焦点位置の異なる複数の撮影手段で撮影した画像情報を取得し、該画像から撮影対象の３次元形状を求める。この方法の原理は、ある焦点位置の撮影手段で撮影した画像においては、焦点位置に近い領域は鮮明に写るのに対して、焦点位置から離れた領域はぼやけて写ることを利用して距離計測を行う。具体的には、画像内の各画素を中心とする近傍の空間周波数スペクトルを求め、ぼやけ具合を該空間周波数スペクトル強度の周波数に対する減衰率の大きさから求めることによって、該画素における被写体の距離を算出することにより実現できる。この方法は焦点位置を制御できるカメラだけで装置を構成できるので、極めて小型に出来、価格や消費電力等の点でも優位性が高い。一方、この方法は計測精度や分解能が低いが、民生用途ではこれらの性能は低くて十分なことが多い。
【０００６】
しかしながら、従来のShape from Focusには以下に示す欠点があった。
１．画像内で濃淡の変化に乏しい領域は計測困難であり、無理に計測しても非常に計測誤差が多いばかりか、完全な誤計測によって無意味な距離を算出することもある。
２．１枚の画像だけからでは、遠距離にあるためぼやけて写っているのか、元々画材はぼやけて見える近距離の被写体だったのかを区別できないため、これを区別する為に焦点位置の異なる複数枚の画像を必要とする。この必要な画像枚数は分解能向上の目的の他、前記の計測誤差を小さくする目的もあり数十枚用いる場合もある。
３．複数枚の撮影画像の全画素について空間周波数スペクトルを求めるため計算コストが非常に大きい。
【０００７】
これらの欠点を克服する方法として、被計測物体に種々のパターンのレーザ光を照射してぼやけ方を計測するアクティブ型の３次元計測装置がある（例えば特許文献１参照）。これは確実に安定した計測ができるので上記問題の１と２を解決できるものの、前記のアクティブ型の欠点を全て抱え込む問題が新たに生じる。
【０００８】
【非特許文献１】
A.Pentland "A New Sense for Depth of Field", pp.523-531,VOL.PAMI-9,No.4,JULY 1987
【特許文献１】
特開２００２−５６３４８号公報
【０００９】
【発明が解決しようとする課題】
前記の様に従来のShape from Focusと呼ばれるパッシブ型に属する３次元計測方法では、画像内で濃淡の変化に乏しい領域が計測困難、焦点位置の異なる数十枚の画像を必要とする、複数枚の撮影画像の全画素について空間周波数スペクトルを求めるため計算コストが非常に大きいという問題があり、一方、これらの欠点を克服する為にアクティブ型の３次元計測装置を用いた場合には、消費電力が大きい、計測距離に制限がある、環境光に制限がある、安全性の観点において民生用としては不適であるという問題がある。
【００１０】
本発明の目的は、上記問題を解決し、１枚の画像だけからShape from Focus法によって簡易的な３次元形状を求めることが可能な技術を提供することにある。また本発明の他の目的は、２枚の画像だけからShape from Focus法によってより精度が高く計測範囲も広い３次元形状を求めることが可能な技術、計算コストを大幅に削減し処理時間を短縮させることが可能な技術、性能低下を最小限に押さえながら効率良く計算コストを削減することが可能な技術や、動力を不要として低コスト化をはかり、かつ、簡便な操作で高速に焦点位置を変更することが可能な技術を提供することにある。
【００１１】
【課題を解決するための手段】
本発明は、所定の焦点位置で撮影された撮影画像における空間周波数スペクトルのスペクトル強度減衰率からその領域と撮影手段間の距離を求めるものである。
【００１２】
本発明の３次元形状計測装置では、所定の焦点位置の撮影手段によって撮影が行われると、その撮影手段で撮影された撮影画像を画像入力手段により入力し、撮影画像内の輝度変化が所定値以上である領域の空間周波数スペクトルを空間周波数スペクトル演算手段により求める。
【００１３】
そして前記領域の空間周波数に対するスペクトル強度の減衰が最小となる方向のスペクトル強度減衰率を減衰率演算手段により求めた後、その求めたスペクトル強度減衰率から該領域と撮影手段までの距離を距離演算手段により求める。すなわち、スペクトル強度減衰率は焦点から該領域までの距離情報を反映するので、スペクトル強度減衰率より焦点から該領域までの距離を求めた後、その求めた距離に焦点位置と撮影手段までの距離を加えることによって撮影手段と該領域間の距離を求める。また前記撮影画像内の輝度変化が前記所定値未満の領域については、距離が求められた領域からの補間によって当該被写体と前記撮影手段との距離を求める。
【００１４】
前記の様に本発明の３次元形状計測装置では、所定の焦点位置で撮影された撮影画像における空間周波数スペクトルのスペクトル強度減衰率からその領域と撮影手段間の距離を求めるので、ある距離までの撮影対象の３次元形状の概略を簡易に計測することが可能となる。
【００１５】
また本発明の３次元形状計測装置では、異なる焦点位置で撮影された２つの撮影画像における空間周波数スペクトルのスペクトル強度減衰率からその領域と撮影手段間の距離を求めるものとしても良い。
【００１６】
すなわち本発明の３次元形状計測装置において、画像入力手段により、所定の位置に焦点位置を有する第１の撮影手段で撮影された第１の撮影画像と前記所定の位置とは異なる焦点位置を有する第２の撮影手段で撮影された第２の撮影画像とをそれぞれ入力する。
【００１７】
次に空間周波数スペクトル演算手段により、前記第１及び第２の撮影画像内の輝度変化の少なくとも一方が所定値以上の領域について、輝度変化がより大きい方の撮影画像の空間周波数スペクトル及び他方の撮影画像の空間周波数スペクトルをそれぞれ第１の空間周波数スペクトル及び第２の空間周波数スペクトルとして求める。
【００１８】
そして、減衰率演算手段により、前記第１の空間周波数スペクトルについて、空間周波数に対するスペクトル強度の減衰が最小となる方向の減衰率を第１の減衰率として求め、前記第２の空間周波数スペクトルについて、同じ方向の空間周波数に対するスペクトル強度の減衰率を第２の減衰率として求めた後、距離演算手段により、前記第１及び第２の減衰率に基づき当該領域の被写体と前記第１または第２の撮影手段との距離を求める。すなわち、前記第１及び第２の減衰率の比は焦点位置から該領域までの距離情報を反映するので、この比より焦点位置から該領域までの距離を求めた後、その求めた距離に焦点位置と撮影手段までの距離を加えることによって撮影手段と該領域間の距離を求める。また前記撮影画像内の輝度変化が前記所定値未満の領域については、距離が求められた領域からの補間によって当該被写体と前記撮影手段との距離を求める。
【００１９】
前記の様に本発明の３次元形状計測装置では、異なる焦点位置で撮影された２つの撮影画像における空間周波数スペクトルのスペクトル強度減衰率からその領域と撮影手段間の距離を求めるので、撮影対象の３次元形状を簡易に計測することが可能であり、単一の撮影画像を用いた場合よりも正確に距離を求められる、遠方の距離も計測できる等の長所を有している。
【００２０】
また本発明の３次元形状計測装置では、所定の焦点位置で撮影された撮影画像または異なる焦点位置で撮影された２つの撮影画像における空間周波数スペクトルのスペクトル強度減衰率からその領域と撮影手段間の距離を求める際に、輝度変化する境界部の法線方向における１次元空間周波数スペクトルのスペクトル強度減衰率から距離を求めるものとしても良い。
【００２１】
すなわち本発明の３次元形状計測装置において、画像入力手段により、所定の位置に焦点位置を有する撮影手段で撮影された撮影画像や、異なる焦点位置を有する撮影手段で撮影された２つの撮影画像を入力した後、スペクトル演算手段により、所定の焦点位置で撮影された撮影画像内で輝度変化が所定値以上の領域、または異なる焦点位置で撮影された輝度変化がより大きい方の撮影画像内で輝度変化が所定値以上の領域について、該輝度変化の境界部の法線方向と該法線方向の１次元空間周波数スペクトルとを求める。
【００２２】
次に減衰率演算手段により、前記法線方向の１次元空間周波数スペクトルについて、空間周波数に対するスペクトル強度の減衰率を求め、その求めたスペクトル強度減衰率に基づき当該領域の被写体と前記撮影手段との距離を求める。また前記撮影画像内の輝度変化が前記所定値未満の領域については、距離が求められた領域からの補間によって当該被写体と前記撮影手段との距離を求める。
【００２３】
前記の様に本発明の３次元形状計測装置では、輝度変化する境界部の法線方向における次元空間周波数スペクトルのスペクトル強度減衰率から距離を求めるので、２次元の空間周波数スペクトルを求める必要が無くなって計算コストを大幅に削減することが可能となり、処理時間も短縮できる。
【００２４】
また本発明の３次元形状計測装置では、所定の焦点位置で撮影された撮影画像または異なる焦点位置で撮影された２つの撮影画像における空間周波数スペクトルのスペクトル強度減衰率からその領域と撮影手段間の距離を求める際に、水平方向の１次元空間周波数スペクトルのスペクトル強度減衰率から距離を求めるものとしても良い。
【００２５】
すなわち本発明の３次元形状計測装置において、画像入力手段により、所定の位置に焦点位置を有する撮影手段で撮影された撮影画像や、異なる焦点位置を有する撮影手段で撮影された２つの撮影画像を入力した後、スペクトル演算手段により、所定の焦点位置で撮影された撮影画像内で輝度変化が所定値以上の領域、または異なる焦点位置で撮影された輝度変化がより大きい方の撮影画像内で輝度変化が所定値以上の領域について、水平方向の１次元空間周波数スペクトルを求める。
【００２６】
次に減衰率演算手段により、前記水平方向の１次元空間周波数スペクトルについて、空間周波数に対するスペクトル強度の減衰率を求め、その求めたスペクトル強度減衰率に基づき当該領域の被写体と前記撮影手段との距離を求める。また前記撮影画像内の輝度変化が前記所定値未満の領域については、距離が求められた領域からの補間によって当該被写体と前記撮影手段との距離を求める。
【００２７】
前記の様に本発明の３次元形状計測装置では、水平方向の１次元空間周波数スペクトルのスペクトル強度減衰率から距離を求めるので、２次元の空間周波数スペクトルを求める必要が無く、輝度変化する境界部の向きを求める必要も無くなることから、計算コストを大幅に削減することが可能となり、処理時間も短縮できる。
また本発明の３次元形状計測装置では、可変光学系による焦点位置可変撮影装置を用いるものとしても良い。
【００２８】
すなわち、可動部が駆動されることによって焦点位置が変化する光学系と、２段階の押す深さを持つシャッタと、前記シャッタの押された深さに応じて前記光学系の可動部を駆動する伝達手段とを備える焦点位置可変撮影装置を用い、シャッタが１段目の深さまで押し込まれた場合には所定の焦点位置で撮影を行い、更にシャッタが２段目の深さまで押し込まれた場合には、伝達手段により前記シャッタの押された深さに応じて可動部を駆動して撮像素子または結像光学系若しくはその両方を移動させ、前記所定の焦点位置とは異なる焦点位置で撮影を行う。
【００２９】
前記の様に本発明の３次元形状計測装置では、可変光学系による焦点位置可変撮影装置を用いることにより、３次元形状計測を行う際に、焦点位置を動かす為の専用の動力が必要無くなる、撮影者に特別な操作を強いることなく自然かつ高速に可変焦点撮影が可能となる等の利点が得られる。
【００３０】
以上の様に本発明の３次元形状計測装置によれば、所定の焦点位置で撮影された撮影画像や、異なる焦点位置で撮影された２つの撮影画像における空間周波数スペクトルのスペクトル強度減衰率からその領域と撮影手段間の距離を求めるので、従来よりも少ない枚数の画像だけからShape from Focus法によって簡易的な３次元形状を求めることが可能である。
【００３１】
【発明の実施の形態】
（実施形態１）
以下に所定の焦点位置で撮影された撮影画像における空間周波数スペクトルのスペクトル強度減衰率からその領域と撮影手段間の距離を求める実施形態１の３次元形状計測装置について説明する。
【００３２】
図１は本実施形態の３次元形状計測装置の概略構成を示す図である。図１に示す様に本実施形態の３次元形状計測装置は、画像入力手段１０２と、空間周波数スペクトル演算手段１０３と、スペクトル強度減衰率演算手段１０４と、距離演算手段１０５と、補間演算手段１０６とを有している。
【００３３】
画像入力手段１０２は、所定の位置に焦点位置を有する撮影手段１０１で撮影された撮影画像を入力する手段である。空間周波数スペクトル演算手段１０３は、前記入力した撮影画像内の輝度変化が所定値以上の領域について空間周波数スペクトルを求める手段である。
【００３４】
スペクトル強度減衰率演算手段１０４は、前記求めた空間周波数スペクトルについて、空間周波数に対するスペクトル強度の減衰が最小となる方向の減衰率を求める手段である。距離演算手段１０５は、前記求めた減衰率に基づき当該領域の被写体と撮影手段１０１との距離を求める手段である。
【００３５】
補間演算手段１０６は、前記入力した撮影画像内の輝度変化が前記所定値未満の領域について、距離演算手段１０５により距離が求められた領域からの補間によって被写体と撮影手段１０１との距離を求める手段である。
【００３６】
また本実施形態の３次元形状計測装置は、コンピュータとプログラムによっても実現でき、そのプログラムを記録媒体に記録することも、ネットワークを通して提供することも可能であるものとする。
【００３７】
図２は本実施形態の３次元形状計測装置の処理概要を示す図である。焦点位置の近い撮影手段１０１によって撮影が行われると、ステップ２０１で３次元形状計測装置の画像入力手段１０２は、その撮影手段１０１で撮影された撮影画像２０６を入力する。取得された撮影画像２０６は撮影手段１０１から距離の近い領域２０７は鮮明に写っているのに対して距離の遠い領域２０８はぼやけた画像となっている。
【００３８】
ステップ２０２において空間周波数スペクトル演算手段１０３は、撮影画像内の輝度変化が所定値以上である領域の空間周波数スペクトルを求める。
【００３９】
まず、輝度変化が所定の設定値以上の領域を抽出した輪郭領域抽出データ２０９を求める。すると、物体の輪郭部等はその他の領域に比べると輝度変化が著しく大きいので、輝度変化が所定の設定値以上の領域を取り出すことによって輪郭部をより多く含む領域が効率良く抽出できる。
【００４０】
次に、この領域に含まれる点毎に空間周波数スペクトルを求める。例えば、領域上のある点２１０の空間周波数スペクトルを求めると空間周波数スペクトル２１１に示す２次元の空間周波数スペクトルが得られる。なお、空間周波数スペクトル２１１のスペクトル強度を表す縦軸は対数的に取っているものとする。
【００４１】
ステップ２０３においてスペクトル強度減衰率演算手段１０４は、ステップ２０２で抽出された領域の空間周波数に対するスペクトル強度の減衰が最小となる方向の減衰率を求める。
【００４２】
例えば空間周波数スペクトル２１１の減衰率は領域２１２の平均値として得られる。なお、求めた空間周波数スペクトル２１１は２次元で表現されるので、最もスペクトル強度の減衰が小さい方向を決定してその方向における傾斜の平均値を求める減衰率とする。鮮明に写っている画像であれば減衰率は小さいが、焦点が合っていない領域のぼやけた画像はより大きな減衰率となる。
【００４３】
空間周波数に対するスペクトル強度の減衰が最小となる方向を選んで減衰率を求めるのは、この方向におけるスペクトル強度の減衰率が、最も安定して測定可能であり、かつ、最も被写体の奥行き方向の距離情報を反映しているためである。
【００４４】
ステップ２０４において距離演算手段１０５は、ステップ２０３で求めたスペクトル強度減衰率からその領域と撮影手段１０１までの距離を求める。焦点位置から遠い距離にある物体ほど画像がぼやけるのでその減衰率を-k［dB/Oct(dB per octave)］とすれば、kは焦点から該領域までの距離情報を反映するのでkより焦点から該領域までの距離を求めることが出来る。また、焦点位置と撮影手段１０１までの距離は既知なので前記求めた距離に焦点位置と撮影手段１０１までの距離を加えることによって撮影手段１０１と該領域間の距離が求められる。
【００４５】
ところで、kはレンズの焦点位置自体、絞りの大きさ、レンズのMTF（Modulation Transfer Function；振幅伝達関数の略称であり、ある光学系で明暗の縞模様を結像させたときの明暗のコントラスト低下の度合いを表わす）、絞り等で生じる回折の影響も受けて変動するが、これら全ての影響を解析的に除去することは困難である。そこで、これらの影響要因が被写体に依存せず撮影手段の結像光学系のみで決まることに着目し、予めその撮影手段を用いて、不連続に輝度変化する領域の、ある被写体（例えば、右半分が黒、左半分が白の平面等）を距離を変えて撮影していき、距離とスペクトル強度減衰率をその都度計測することによって、減衰率→距離参照テーブル２１３を事前に作成しておく。この参照テーブルは、撮影手段の結像光学系の影響を全て織り込み済みなので、その後の計測時には、求めた減衰率から参照テーブルを参照して距離を読み出すことによって、撮影手段の結像光学系の影響を除去して距離だけを求めることが出来る。
【００４６】
ステップ２０５において補間演算手段１０６は、ステップ２０４までの処理で距離の求められなかった領域について、距離演算手段１０５により距離を求めた近傍の領域から補間することによって距離を生成する。例えば、距離の求められなかった領域にある画素２１４の奥行きの距離ｚは、近傍の距離の求められたi点の画素２１５に対して、画素２１４までの距離をli、その画素における奥行き距離をZiとして、以下の数１による線形補間（１次補間）で求める。
【００４７】
【数１】
z ＝ Σ（Zi／li）／Σ（１／li）
【００４８】
なお、近傍領域は所定面積の領域とするか、距離の求められた画素を所定数含む面積可変の領域とするか、また、補間方法も高次の補間方法、種々のスプライン関数に代表される有理補間方法等、様々なバリエーションがあり得るが、本発明の補間方法は特定の近傍領域の定義や補間方法に限定されるものではない。
【００４９】
ステップ２０４までの処理で距離を求められなかった領域は、ステップ２０２において輝度変化がある設定値以下であった領域である。これらの領域は連続に輝度変化している場合が多いので、近傍の距離の求められた部分から補間して求めても比較的良い近似値を得ることが出来る。
【００５０】
前記の様に本実施形態の３次元形状計測方法では、これらのステップを適用することによって、ある距離までの撮影対象の３次元形状の概略を簡易に計測することが可能となる。
次に、本実施形態の３次元形状計測装置のより具体的な構成と、その動作について説明する。
【００５１】
図３は本実施形態の３次元形状計測装置の具体例を示す図である。図３の撮影カメラ３０１は焦点位置の近いカメラ、画像入力部３０２は撮影カメラ３０１で撮影された撮影画像を入力する入力部、画像記録メモリ３０３は入力された撮影画像を記録する為のメモリ、エッジ検出器３０４は画像内において画素の輝度値の変化が所定の設定値以上の領域を検出する検出器、輝度変化領域記録メモリ３０５は輝度値の変化が所定の設定値以上の領域を記録する為のメモリ、空間周波数スペクトル演算器３０６は撮影画像内の輝度変化が所定値以上の領域について空間周波数スペクトルを求める演算器である。エッジ検出器３０４、輝度変化領域記録メモリ３０５及び空間周波数スペクトル演算器３０６の組み合わせによって図２に掲げた空間周波数スペクトル演算手段１０３を構成している。
【００５２】
空間周波数スペクトル記録メモリ３０７は前記求められた空間周波数スペクトルを記録する為のメモリ、最大分布方向検出器３０８は前記求められた空間周波数スペクトルの分布が最も広がっている方向を検出する検出器、スペクトル強度減衰率演算器３０９は最大分布方向検出器３０８が検出した方向における空間周波数に対するスペクトル強度の減衰率を算出する演算器、距離演算器３１０はスペクトル強度減衰率の値を距離に変換する演算器、減衰率→距離参照テーブル３２５はスペクトル強度減衰率の値を距離に変換する際に参照する参照テーブル、補間演算器３１１は近傍の距離を求めた領域から距離の値を補間する演算器、３次元形状記録メモリ３１２は計測された３次元形状データを格納する為のメモリである。また撮影物体３１３は撮影の対象となる物体であり、焦点位置３１４は撮影カメラ３０１のピントが最も合う位置を示している。なお、本装置の計測範囲の最も近距離側は焦点位置３１４までとなる。
【００５３】
撮影画像データ３１５は、撮影カメラ３０１によって撮影され画像記録メモリ３０３に記録された画像データを表している。輪郭領域抽出データ３１６は、エッジ検出器３０４によって検出され輝度変化領域記録メモリ３０５に記録された、画素の輝度値の変化がある設定値以上であった領域を表している。空間周波数スペクトル３１７は、空間周波数スペクトル演算器３０６によって求められ空間周波数スペクトル記録メモリ３０７に記録された、ある画素を中心とする空間周波数スペクトルを表している。
【００５４】
ある画素を中心とする空間周波数スペクトルは、１画素につき、この図の様に２次元分布のデータとなる。一般に空間周波数スペクトルは中心点（直流成分）が最大となり、空間周波数が増大するにつれて減衰していく。また空間周波数スペクトルは、輪郭部の法線方向に最も高周波数まで分布し、接線方向には急激な減衰を示す。
【００５５】
図４は本実施形態の図３の３次元形状計測装置の処理手順を示すフローチャートである。図３の装置を用いて本実施形態の３次元形状計測方法を実行する動作を図４のフローチャートに従って説明する。
【００５６】
撮影カメラ３０１で撮影物体３１３が撮影されると、ステップ４０１において画像入力部３０２は、撮影カメラ３０１で撮影された撮影画像を入力し、その入力した撮影画像データ３１５を画像記録メモリ３０３に記録する。
【００５７】
ステップ４０２においてエッジ検出器３０４は、画像記録メモリ３０３から撮影画像データ３１５を読み出し、ある画素とその画素に隣接する画素の輝度値の差が予め設定した値以上である様な画素を全て抽出することによって輪郭領域を決定し、その輪郭領域の画素の情報を取り出して輝度変化領域記録メモリ３０５に輪郭領域抽出データ３１６の様に書き込む。なお、この時、隣接条件は４近傍であっても８近傍であっても構わないものとする。
【００５８】
図５は本実施形態の画素の隣接条件の概要を示す図である。図５に示す様に、撮影画像データ３１５の座標(x,y)の画素Px,yと隣接する８近傍の画素は、Px-1,y-1、Px-1,y、Px-1,y+1、Px,y-1、Px,y+1、Px+1,y-1、Px+1,y、Px+1,y+1であり、４近傍の画素は、Px-1,y、Px,y-1、Px,y+1、Px+1,yである。
【００５９】
ステップ４０３において空間周波数スペクトル演算器３０６は、輝度変化領域記録メモリ３０５から輪郭領域を読み出して、各々の画素毎に該画素を中心とする近傍のＮ×Ｎ画素の画像を画像記録メモリ３０３から読み出し、該近傍領域の画素をフーリエ変換することによって空間周波数スペクトル３１７を求めて空間周波数スペクトル記録メモリ３０７に書き込む。
【００６０】
本実施形態ではフーリエ変換を用いる例をあげたが、コサイン／サイン変換やWaveLet変換等の異なる直交基底変換を用いても構わない。また空間周波数スペクトル分布の概略が近似的に判れば良いので、アダマール変換やウォルシュ変換等を用いることも可能であり、本実施形態は空間周波数スペクトルを求める為に使用する直交基底変換関数の種類を限定するものではない。また、FFTやWFT等の高速演算法を用いても良く、本実施形態は高速化の有無やその手法を限定するものではない。
【００６１】
ステップ４０４において最大分布方向検出器３０８は、前記求められた空間周波数スペクトル３１７が最も高周波領域まで伸びている最大分布方向３１８を検出する。空間周波数スペクトル３１７は、図の様な分布形状をしているので、中心から各方向毎に周波数に対するスペクトル強度の減衰率を求めて最も減衰率の小さい方向を最大分布方向３１８としても良いが、ある空間周波数ωだけ中心から離れた同心円上において最大の空間周波数である地点と中心を結ぶことによって簡易的に最大分布方向３１８を検出しても良い。
【００６２】
ステップ４０５においてスペクトル強度減衰率演算器３０９は、前記検出された最大分布方向３１８に向けた空間周波数スペクトル強度の周波数に対する減衰の平均値を求め、この値をスペクトル強度減衰率とする。
【００６３】
ステップ４０６において距離演算器３１０は、減衰率→距離参照テーブル３２５を参照し、前記求められたスペクトル強度減衰率に対応する距離を減衰率→距離参照テーブル３２５から求める。なお、減衰率→距離参照テーブル３２５は図６に示す手順に従って以下の手続きで予め作成されているものとする。
【００６４】
図６は本実施形態の減衰率→距離参照テーブル作成処理の処理手順を示すフローチャートである。右半分が黒で左半分が白の校正用撮影板６０８が撮影カメラ３０１の焦点位置ｘ０に置かれると、ステップ６０１において３次元形状計測装置は、校正用撮影板６０８と撮影カメラ３０１との距離ｘを初期値のｘ０に設定する。
【００６５】
次に撮影カメラ３０１によって校正用撮影板６０８が撮影されると、ステップ６０２において画像入力部３０２は、撮影された撮影画像を撮影カメラ３０１から入力し、画像記録メモリ３０３に格納する。
【００６６】
ステップ６０３において空間周波数スペクトル演算器３０６は、前記格納した撮影画像を画像記録メモリ３０３から読み出した後、その撮影画像より白と黒の境界部における水平方向の空間周波数スペクトルを求め、空間周波数スペクトル記録メモリ３０７に格納する。
【００６７】
ステップ６０４においてスペクトル強度減衰率演算器３０９は、前記格納した空間周波数スペクトルを空間周波数スペクトル記録メモリ３０７から読み出した後、水平方向の空間周波数スペクトル強度の周波数に対する減衰の平均値を求め、この値をスペクトル強度減衰率ｋとする。
【００６８】
ステップ６０５において３次元形状計測装置は、校正用撮影板６０８と撮影カメラ３０１との距離ｘの値と前記求められたスペクトル強度減衰率ｋのペアを減衰率→距離参照テーブル３２５に書き加えていく。
【００６９】
次に校正用撮影板６０８の位置がδｘだけ撮影カメラ３０１から離されると、ステップ６０６において３次元形状計測装置は、校正用撮影板６０８と撮影カメラ３０１との距離ｘの値にδｘを加算する。
【００７０】
ステップ６０７では、校正用撮影板６０８との距離ｘの値と予め設定した最大計測距離とを比較し、距離ｘが最大計測距離以上であるならこの処理を終了し、そうでなければステップ６０２に戻る。以上のステップによって減衰率→距離参照テーブル３２５を生成する。
【００７１】
ステップ４０７において補間演算器３１１は、ステップ４０２で取り出されなかった画素、即ち、距離演算器３１０によって距離の求められなかった画素全てについてステップ４０８とステップ４０９を適用することによってその画素における距離を補間生成する。
【００７２】
ステップ４０８において補間演算器３１１は、ある画素を選択し、補間概略図３１９の様にその画素を原点３２０にした時の第１象限から第４象限までの各象限毎に該画素に最も近くかつ距離の求められた画素を１つずつ選択することによって、計４つの画素３２１〜３２４を求め、数１に従って該画素における距離を補間生成する。なお、第１象限から第４象限までの４画素を選択する理由は、補間される画素が必ず４画素を結ぶ四角形の内部に存在するのでより精度の高い内挿による補間が可能となるからである。しかしながら、画像の四隅に近い画素は必ずしもこの選択法で４画素求められないため、その場合には求められた画素のみから数１に従って補間生成する。また、本実施形態では各象限毎に画素を１つ選択したが、本実施形態は画素の選択法をこれに限定するものではない。そしてステップ４０９において補間演算器３１１は、前記補間生成した距離を３次元形状記録メモリ３１２に書き込む。
【００７３】
以上説明した様に本実施形態の３次元形状計測装置によれば、所定の焦点位置で撮影された撮影画像における空間周波数スペクトルのスペクトル強度減衰率からその領域と撮影手段間の距離を求めるので、１枚の画像だけからShape from Focus法によって簡易的な３次元形状を求めることが可能である。
【００７４】
（実施形態２）
以下に異なる焦点位置で撮影された２つの撮影画像における空間周波数スペクトルのスペクトル強度減衰率からその領域と撮影手段間の距離を求める実施形態２の３次元形状計測装置について説明する。
【００７５】
図７は本実施形態の３次元形状計測装置の概略構成を示す図である。図７に示す様に本実施形態の３次元形状計測装置は、画像入力手段７０３と、空間周波数スペクトル演算手段７０４と、スペクトル強度減衰率演算手段７０５と、距離演算手段７０６と、補間演算手段７０７とを有している。
【００７６】
画像入力手段７０３は、所定の位置に焦点位置を有する第１の撮影手段７０１で撮影された第１の撮影画像と前記所定の位置とは異なる焦点位置を有する第２の撮影手段７０２で撮影された第２の撮影画像とをそれぞれ入力する手段である。
【００７７】
空間周波数スペクトル演算手段７０４は、前記入力した第１及び第２の撮影画像内の輝度変化の少なくとも一方が所定値以上の領域について、輝度変化がより大きい方の撮影画像の空間周波数スペクトル及び他方の撮影画像の空間周波数スペクトルをそれぞれ第１の空間周波数スペクトル及び第２の空間周波数スペクトルとして求める手段である。
【００７８】
スペクトル強度減衰率演算手段７０５は、前記第１の空間周波数スペクトルについて、空間周波数に対するスペクトル強度の減衰が最小となる方向の減衰率を第１の減衰率として求め、前記第２の空間周波数スペクトルについて、同じ方向の空間周波数に対するスペクトル強度の減衰率を第２の減衰率として求める手段である。
【００７９】
距離演算手段７０６は、前記求めた第１及び第２の減衰率に基づき当該領域の被写体と前記第１の撮影手段７０１または第２の撮影手段７０２との距離を求める手段である。補間演算手段７０７は、前記入力した第１及び第２の撮影画像内の輝度変化がいずれも前記所定値未満の領域について、距離演算手段７０６により距離が求められた領域からの補間によって当該被写体と前記第１の撮影手段７０１または第２の撮影手段７０２との距離を求める手段である。
【００８０】
本実施形態の３次元形状計測装置は、コンピュータとプログラムによっても実現でき、そのプログラムを記録媒体に記録することも、ネットワークを通して提供することも可能であるものとする。
【００８１】
図８は本実施形態の３次元形状計測処理の処理概要を示す図である。焦点位置の遠い撮影手段７０１によって撮影が行われると、ステップ８０１で３次元形状計測装置の画像入力手段７０３は、その撮影手段７０１で撮影された撮影画像８０７を入力する。取得された撮影画像８０７は撮影手段７０１から距離の遠い領域８０８は鮮明に写っているのに対して距離の近い領域８０９はぼやけた画像となっている。
【００８２】
焦点位置の近い撮影手段７０２によって撮影が行われると、ステップ８０２において画像入力手段７０３は、その撮影手段７０２で撮影された撮影画像８１０を入力する。取得された撮影画像８１０は撮影手段７０２から距離の近い領域８１１は鮮明に写っているのに対して距離の遠い領域８１２はぼやけた画像となっている。
【００８３】
なお、ステップ８０１とステップ８０２に関しては時間的な順序関係が無いので、ステップ８０２、ステップ８０１の順に行っても良く、撮影光軸を同軸とした２つの撮影手段を用いてステップ８０１とステップ８０２を同時に行っても良い。
【００８４】
ステップ８０３において空間周波数スペクトル演算手段７０４は、撮影画像８０７内と撮影画像８１０内の少なくともどちらかの輝度変化がある設定値以上である輪郭領域抽出データ８１３に対して、その位置の領域における撮影画像８０７と撮影画像８１０の空間周波数スペクトルをそれぞれ求め、輝度変化のより大きい方を空間周波数スペクトル８１４、そうでない方を空間周波数スペクトル８１５とする。
【００８５】
例えば、撮影画像８１０において領域８１６が所定の設定値以上の輝度変化であった場合、領域８１６の空間周波数スペクトルを求めて空間周波数スペクトル８１４とし、撮影画像８０７で領域８１６と同じ位置にある領域に対して空間周波数スペクトルを求めて空間周波数スペクトル８１５とする。なお、どちらの領域における輝度変化も同じ大きさであった場合には空間周波数スペクトル８１４と空間周波数スペクトル８１５の割り当ては任意で構わない。
【００８６】
ステップ８０４においてスペクトル強度減衰率演算手段７０５は、空間周波数スペクトル８１４の周波数に対するスペクトル強度の減衰が最も小さい方向８１９における減衰率８１７を求め、空間周波数スペクトル８１５から同じ方向における減衰率を求める。
【００８７】
ステップ８０５において距離演算手段７０６は、減衰率８１７と減衰率８１８からその領域と撮影手段間の距離を求める。具体的には減衰率８１７と減衰率８１８の比を求める。
【００８８】
減衰率の比は焦点位置から該領域までの距離情報を反映するのでこの比より焦点位置から該領域までの距離を求めることが出来る。また、焦点位置と撮影手段までの距離は既知なので前記求めた距離に焦点位置と撮影手段までの距離を加えることによって撮影手段と該領域間の距離が求められる。
【００８９】
ところで、減衰率の比はレンズの焦点位置自体、絞りの大きさ、レンズのMTF、絞り等で生じる回折の影響も受けて変動するが、これら全ての影響を解析的に除去することは困難である。そこで、これらの影響要因が被写体に依存せず撮影手段の結像光学系のみで決まることに着目し、予めその撮影手段を用いて、不連続に輝度変化する領域のある被写体（例えば、右半分が黒、左半分が白の平面等）を距離を変えて撮影していき、距離とスペクトル強度減衰率の比をその都度計測することによって、減衰率比→距離参照テーブル８２０を事前に作成しておく。この参照テーブルは撮影手段の結像光学系の影響を全て織り込み済みなので、その後の計測時には、求めた減衰率比から参照テーブルを参照して距離を読み出すことによって、撮影手段の結像光学系の影響を除去して距離だけを求めることが出来る。
【００９０】
ステップ８０６において補間演算手段７０７は、ステップ８０５までの処理で距離の求められなかった領域について、距離演算手段７０６により距離を求めた近傍の領域から補間することによって距離を生成する。ステップ８０５までの処理で距離の求められなかった領域は、ステップ８０３において輝度変化がある設定値以下であった領域である。これらの領域は連続に輝度変化している場合が多いので、近傍の距離の求められた部分から補完することによって距離を近似することができる。この補間法は実施形態１の説明で示した方法で良い。
【００９１】
これらのステップを適用することによって、撮影対象の３次元形状が簡易に計測できる。本実施形態の方法は、実施形態１の方法と比較して、より正確に距離を求められる、遠方の距離も計測できる等の長所を有する。
【００９２】
また、画像の色情報も同時に取得したい場合、実施形態１の方法では遠景がぼやけるため、十分な高解像度の撮影手段を用いるか、色情報は別途の撮影手段を用いる必要があるが、本実施形態の方法では特に遠方に焦点位置を持つ撮影手段の焦点深度を深く設定しておくことによって容易に色画像を該撮影手段で同時に取得することも可能である。
次に、本実施形態の３次元形状計測装置のより具体的な構成と、その動作について説明する。
【００９３】
図９は本実施形態の３次元形状計測装置の具体例を示す図である。図９の撮影カメラ９０１は焦点位置の遠いカメラ、撮影カメラ９０２は焦点位置の近いカメラである。ハーフミラー９２９とミラー９３０によって撮影カメラ９０１と撮影カメラ９０２は同軸上での画像撮影が可能となる。画像入力部９０３は撮影カメラ９０１及び撮影カメラ９０２で撮影された撮影画像を入力する入力部、画像記録メモリ９０４は撮影カメラ９０１の画像を記録する画像記録メモリ、画像記録メモリ９０５は撮影カメラ９０２の画像を記録する画像記録メモリ、エッジ検出器９０６は撮影カメラ９０１の撮影画像または撮影カメラ９０２の撮影画像のうち少なくとも一方の画像内における輝度値の変化が所定の設定値以上の領域を検出する検出器、輝度変化領域記録メモリ９０７は輝度値の変化が所定の設定値以上の領域をどちらの画像かの情報も含めて記録するメモリ、空間周波数スペクトル演算器９０８は前記検出された領域について空間周波数スペクトルを求める演算器である。
【００９４】
空間周波数スペクトル記録メモリ９０９は撮影カメラ９０１の撮影画像の空間周波数スペクトルを記録するメモリ、空間周波数スペクトル記録メモリ９１０は撮影カメラ９０２の撮影画像の空間周波数スペクトルを記録するメモリ、最大分布方向検出器９１１は、より輝度変化の大きい方の画像よって空間周波数に対するスペクトル強度の減衰が最も小さい方向を検出する検出器、スペクトル強度減衰率演算器９１２は最大分布方向検出器９１１の検出した方向における撮影カメラ９０１の撮影画像のスペクトル強度減衰率を算出する演算器、スペクトル強度減衰率演算器９１３は最大分布方向検出器９１１の検出した方向における撮影カメラ９０２の撮影画像のスペクトル強度減衰率を算出する演算器、距離演算器９１４は、撮影カメラ９０１の撮影画像のスペクトル強度減衰率と撮影カメラ９０２の撮影画像のスペクトル強度減衰率の比を距離に変換する演算器、減衰率比→距離参照テーブル９３７はスペクトル強度減衰率の比を距離に変換する際に参照する参照テーブル、補間演算器９１５は近傍の距離を求めた領域から距離の値を補間する演算器、３次元形状記録メモリ９１６は計測された３次元形状データを格納するメモリ、撮影物体９１７は撮影の対象となる物体である。焦点位置９１８は撮影カメラ９０１のピントが最も合う位置、焦点位置９１９は撮影カメラ９０２のピントが最も合う位置を示している。なお、本装置の計測範囲は焦点位置９１８から焦点位置９１９の間である。
【００９５】
図１０は本実施形態の図９の３次元形状計測装置の処理手順を示すフローチャートである。図９の装置を用いて本実施形態の３次元形状計測方法を実行する動作を図１０のフローチャートに従って説明する。
【００９６】
撮影カメラ９０１で撮影物体９１７が撮影されると、ステップ１００１において画像入力部９０３は、撮影カメラ９０１で撮影された撮影画像を入力し、その入力した画像データ９２０を画像記録メモリ９０４に記録する。
【００９７】
撮影カメラ９０２で撮影物体９１７が撮影されると、ステップ１００２において画像入力部９０３は、撮影カメラ９０２で撮影された撮影画像を入力し、その入力した画像データ９２１を画像記録メモリ９０５に記録する。
【００９８】
ステップ１００３においてエッジ検出器９０６は、画像記録メモリ９０４及び９０５から画像データ９２０及び９２１を読み出し、各々の画像毎に、ある画素とその画素に隣接する画素の輝度値の差が予め設定した値以上である様な画素を全て抽出することによって輪郭領域を決定し、輝度変化領域記録メモリ９０７に該領域を輪郭領域抽出データ９２２の様に書き込む。この際、より大きな輝度値の差を有する画像の情報も書き込む。例えば、白抜きで示した輪郭領域９２３は画像データ９２１から得た輪郭領域を表し、黒線で示した輪郭領域９２４は画像データ９２０から得た輪郭領域を表している。
【００９９】
ステップ１００４において空間周波数スペクトル演算器９０８は、輝度変化領域記録メモリ９０７から輪郭領域を読み出して、輪郭領域を構成する各々の画素毎に、該画素を中心とする近傍のＮ×Ｎ画素の画像を画像記録メモリ９０４及び９０５から読み出してフーリエ変換することによって空間周波数スペクトルを求めて空間周波数スペクトル記録メモリ９０９及び９１０に書き込む。
【０１００】
本実施形態ではフーリエ変換を用いる例をあげたが、コサイン／サイン変換やWaveLet変換等の異なる直交基底変換を用いても構わない。また空間周波数スペクトル分布の概略が近似的に判れば良いので、アダマール変換やウォルシュ変換等を用いることも可能であり、本実施形態は空間周波数スペクトルを求める為に使用する直交基底変換関数の種類を限定するものではない。また、FFTやWFT等の高速演算法を用いても良く、本実施形態は高速化の有無やその手法を限定するものではない。
【０１０１】
ステップ１００５において最大分布方向検出器９１１は、各々の画素毎に輝度変化のより大きい方の撮影画像の空間周波数スペクトルを空間周波数スペクトル記録メモリ９０９または空間周波数スペクトル記録メモリ９１０から選択し、空間周波数スペクトルが最も高周波領域まで伸びている方向を検出する。例えば、輪郭領域抽出データ９２２において画素９２５の空間周波数スペクトルを画像データ９２０及び９２１の画像から求めたものが空間周波数スペクトル９２６及び９２７である。画素９２５は白抜き線の画素なので、より輝度変化の大きい画像は画像データ９２１である。従って、画像データ９２１から空間周波数スペクトル９２７が最も高周波領域まで伸びている方向９２８を検出する。
【０１０２】
ステップ１００６においてスペクトル強度減衰率演算器９１２及び９１３は、検出した方向における空間周波数に対するスペクトル強度の減衰率を画像毎にそれぞれ算出する。
【０１０３】
ステップ１００７において距離演算器９１４は、前記算出されたそれぞれのスペクトル強度減衰率の比を取って、減衰率比→距離参照テーブル９３７を参照し、その減衰率比に対応する距離を減衰率比→距離参照テーブル９３７から求める。なお、減衰率比→距離参照テーブル９３７は図１１に示す手順に従って以下の手続きで予め作成されているものとする。
【０１０４】
図１１は本実施形態の減衰率比→距離参照テーブル作成処理の処理手順を示すフローチャートである。右半分が黒、左半分が白の校正用撮影板１１０９が撮影カメラ９０２の焦点位置９１９に置かれると、ステップ１１０１において３次元形状計測装置は、校正用撮影板１１０９と撮影カメラとの距離ｘを初期値に設定する。
【０１０５】
次に撮影カメラ９０１及び９０２によって校正用撮影板１１０９が撮影されると、ステップ１１０２において画像入力部９０３は、撮影された撮影画像を撮影カメラ９０１及び９０２から入力し、画像記録メモリ９０４及び９０５に格納する。
【０１０６】
ステップ１１０３において空間周波数スペクトル演算器９０８は、前記格納した撮影画像を画像記録メモリ９０４及び９０５から読み出した後、それらの撮影画像より白と黒の境界部における水平方向の空間周波数スペクトルをそれぞれ求め、空間周波数スペクトル記録メモリ９０９及び９１０にそれぞれ格納する。
【０１０７】
ステップ１１０４においてスペクトル強度減衰率演算器９１２及び９１３は、前記格納した空間周波数スペクトルを空間周波数スペクトル記録メモリ９０９及び９１０から読み出した後、それぞれの空間周波数スペクトルから周波数に対するスペクトル強度の減衰率をそれぞれ求める。
【０１０８】
ステップ１１０５において３次元形状計測装置は、前記求められたスペクトル強度の減衰率の比ｋｒを取り、ステップ１１０６において、校正用撮影板１１０９と撮影カメラとの距離ｘと前記求められたスペクトル強度減衰率比ｋｒのペアを減衰率比→距離参照テーブル９３７に書き加える。
【０１０９】
次に校正用撮影板１１０９の位置がδｘだけ撮影カメラから離されると、ステップ１１０７において３次元形状計測装置は、校正用撮影板１１０９と撮影カメラとの距離ｘの値にδｘを加算する。
【０１１０】
ステップ１１０８において、校正用撮影板１１０９との距離ｘの値と遠焦点位置９１８までの距離とを比較し、距離ｘが遠焦点位置９１８より遠くなれば処理を終了し、そうでなければステップ１１０２に戻る。以上のステップを実行することによって減衰率比→距離参照テーブル９３７を生成する。
【０１１１】
ステップ１００８において補間演算器９１５は、ステップ１００３で取り出されなかった画素、即ち、距離演算器９１４によって距離の求められなかった画素全てについてステップ１００９とステップ１０１０を適用することによってその画素における距離を補間生成する。
【０１１２】
ステップ１００９において補間演算器９１５は、ある画素を選択し、補間概略図９３１の様にその画素を原点９３２にした時の第１象限から第４象限までの各象限毎に該画素に最も近くかつ距離の求められた画素を１つずつ選択することによって、計４つの画素９３３〜９３６を求め、数１に従って該画素における距離を補間生成する。なお、第１象限から第４象限までの４画素を選択する理由は、補間される画素が必ず４画素を結ぶ四角形の内部に存在するのでより精度の高い内挿による補間が可能となるからである。しかしながら、画像の四隅に近い画素は必ずしもこの選択法で４画素求められないため、その場合は求められた画素のみから数１に従って補間生成する。また、本実施形態では各象限毎に画素を１つ選択したが、本実施形態は画素の選択法をこれに限定するものではない。そしてステップ１０１０において補間演算器９１５は、前記補間生成した距離を３次元形状記録メモリ９１６に書き込む。
【０１１３】
以上説明した様に本実施形態の３次元形状計測装置によれば、異なる焦点位置で撮影された２枚の撮影画像における空間周波数スペクトルのスペクトル強度減衰率からその領域と撮影手段間の距離を求めるので、２枚の画像だけからShape from Focus法によってより精度が高く計測範囲も広い３次元形状を求めることが可能である。
【０１１４】
（実施形態３）
以下に輝度変化する境界部の法線方向における１次元空間周波数スペクトルのスペクトル強度減衰率から距離を求める実施形態３の３次元形状計測装置について説明する。
【０１１５】
図１２は本実施形態の３次元形状計測装置の概略構成を示す図である。図１２に示す様に本実施形態の３次元形状計測装置は、画像入力手段１２０３と、法線方向１次元空間周波数スペクトル演算手段１２０４と、スペクトル強度減衰率演算手段１２０５と、距離演算手段１２０６と、補間演算手段１２０７とを有している。
【０１１６】
画像入力手段１２０３は、所定の位置に焦点位置を有する第１の撮影手段１２０１で撮影された第１の撮影画像と前記所定の位置とは異なる焦点位置を有する第２の撮影手段１２０２で撮影された第２の撮影画像とをそれぞれ入力する手段である。
【０１１７】
法線方向１次元空間周波数スペクトル演算手段１２０４は、前記入力した第１及び第２の撮影画像内の輝度変化の少なくとも一方が所定値以上の領域について、輝度変化がより大きい方の撮影画像の該輝度変化の境界部の法線方向を求めると共に、輝度変化がより大きい方の撮影画像の該法線方向の１次元空間周波数スペクトル及び他方の撮影画像の該法線方向の１次元空間周波数スペクトルをそれぞれ第１の空間周波数スペクトル及び第２の空間周波数スペクトルとして求める手段である。
【０１１８】
スペクトル強度減衰率演算手段１２０５は、前記第１及び第２の空間周波数スペクトルについて、空間周波数に対するスペクトル強度の減衰率をそれぞれ第１及び第２の減衰率として求める手段である。距離演算手段１２０６は、前記求めた第１及び第２の減衰率に基づき当該領域の被写体と前記第１の撮影手段１２０１または第２の撮影手段１２０２との距離を求める手段である。
【０１１９】
補間演算手段１２０７は、前記入力した第１及び第２の撮影画像内の輝度変化がいずれも前記所定値未満の領域について、距離演算手段１２０６により距離が求められている領域からの補間によって当該被写体と前記第１の撮影手段１２０１または第２の撮影手段１２０２との距離を求める手段である。
【０１２０】
図１２では、実施形態２の様な装置で、輝度変化する境界部の法線方向における１次元空間周波数スペクトルのスペクトル強度減衰率から距離を求める場合の構成を示しているが、実施形態１の様な装置で同様にして距離を求めるものとしても良い。
【０１２１】
すなわち、画像入力手段１２０３では、所定の位置に焦点位置を有する撮影手段１２０１または撮影手段１２０２で撮影された撮影画像を入力し、法線方向１次元空間周波数スペクトル演算手段１２０４では、撮影画像内の輝度変化が所定値以上の領域について、該輝度変化の境界部の法線方向と該法線方向の１次元空間周波数スペクトルとを求め、スペクトル強度減衰率演算手段１２０５では、前記法線方向の１次元空間周波数スペクトルについて、空間周波数に対するスペクトル強度の減衰率を求め、距離演算手段１２０６では、前記減衰率に基づき当該領域の被写体と前記撮影手段との距離を求め、補間演算手段１２０７では、前記撮影画像内の輝度変化が前記所定値未満の領域について、距離演算手段１２０６により距離が求められている領域からの補間によって当該被写体と前記撮影手段との距離を求めるものとしても良い。
【０１２２】
また本実施形態の３次元形状計測装置は、コンピュータとプログラムによっても実現でき、そのプログラムを記録媒体に記録することも、ネットワークを通して提供することも可能であるものとする。
【０１２３】
図１３は本実施形態の輝度変化する境界部の法線方向と空間周波数スペクトルの関係を示す図である。図１３の撮影画像１３０１は輝度変化する境界部を撮影した画像であり、輝度変化境界部領域１３０２は輝度変化がある設定値以上であった境界部の領域である。輝度変化境界部法線方向１３０３は輝度変化する境界部の法線方向を矢印で示している。この輝度変化境界部領域１３０２の空間周波数スペクトルを求めると空間周波数スペクトル１３０４が得られる。
【０１２４】
輝度変化境界部法線方向１３０３において、空間周波数に対するスペクトル強度の減衰が最も小さい方向における減衰率を求めるわけであるが、この方向を矢印１３０５で示す。すると、輝度変化境界部法線方向１３０３と矢印１３０５は、ほぼ同方向であることがわかる。従って、輝度変化が所定の設定値以上の領域を検出する過程において、輝度変化する境界部の法線方向も検出しておけば、その方向の１次元空間周波数スペクトルを求め、それからスペクトル強度の減衰率を求めることによって同じ結果を得ることが出来る。これを行う為の処理を図１４のフローチャートで示す。
【０１２５】
図１４は本実施形態の３次元形状計測処理の処理概要を示す図である。所定の位置に焦点位置を有する撮影手段によって撮影が行われると、ステップ１４０１において画像入力手段１２０３は、その撮影手段で撮影された撮影画像を入力する。図１２の様に実施形態２と同様の構成の場合であれば焦点位置の遠い撮影手段１２０１と焦点位置の近い撮影手段１２０２とを用いて２枚の画像を撮影し、実施形態１と同様の構成の場合であれば、焦点位置の近い撮影手段１２０２で画像を撮影する。
【０１２６】
ステップ１４０２において法線方向１次元空間周波数スペクトル演算手段１２０４は、輝度変化が所定の設定値以上の領域を検出する。前記の様に２枚の画像を撮影した場合には、それらの撮影画像内の輝度変化の少なくとも一方が所定値以上の領域を検出する。
【０１２７】
ステップ１４０３において法線方向１次元空間周波数スペクトル演算手段１２０４は、ステップ１４０２で検出した領域について、その中に含まれる輝度変化する境界部を検出して境界部の法線方向を求める。
【０１２８】
ステップ１４０４において法線方向１次元空間周波数スペクトル演算手段１２０４は、前記検出した法線方向の１次元空間周波数スペクトルを求め、スペクトル強度減衰率演算手段１２０５により周波数に対するスペクトル強度の減衰率を求める。前記の様に２枚の画像を撮影した場合には、輝度変化がより大きい方の撮影画像の該法線方向の１次元空間周波数スペクトル及び他方の撮影画像の該法線方向の１次元空間周波数スペクトルをそれぞれ第１の空間周波数スペクトル及び第２の空間周波数スペクトルとして求め、スペクトル強度減衰率演算手段１２０５により、前記第１及び第２の空間周波数スペクトルについて、空間周波数に対するスペクトル強度の減衰率をそれぞれ第１及び第２の減衰率として求める。
【０１２９】
ステップ１４０５において距離演算手段１２０６は、前ステップで求めた減衰率を用いて距離を求める。具体的な求め方は、実施形態１または実施形態２の作用で説明した方法に基づくものとする。また補間演算手段１２０７は、前記第１及び第２の撮影画像内の輝度変化がいずれも前記所定値未満の領域について、距離演算手段１２０６により距離が求められている領域からの補間によって当該被写体と前記第１の撮影手段１２０１または第２の撮影手段１２０２との距離を求める。
【０１３０】
本実施形態の３次元形状計測方法を用いることによって、２次元の空間周波数スペクトルを求める必要が無くなる為、計算コストを大幅に削減することが可能となり、処理時間も短縮できる。
次に、本実施形態の３次元形状計測装置のより具体的な構成と、その動作について説明する。
【０１３１】
図１５は本実施形態の３次元形状計測装置の具体例を示す図である。本実施形態の３次元形状計測装置は、輝度変化する境界部の法線方向における１次元空間周波数スペクトルのスペクトル強度減衰率から距離を求める為の構成を、図３に示した実施形態１の装置に組み込んだものである。従って、実施形態１の図３の装置と全く同じ構成手段に関しては図３と同等の番号を与え説明を省略する。
【０１３２】
エッジベクトル検出器１５０１は、画像記録メモリ３０３に記録された画像内で輝度値の変化が所定の設定値以上の領域とその領域の法線ベクトルを検出する検出器、輝度変化領域記録メモリ１５０２は輝度値の変化が所定の設定値以上の領域とその法線ベクトルを記録するメモリ、空間周波数スペクトル演算器１５０３は法線ベクトル方向に１次元の空間周波数スペクトルを算出する演算器、空間周波数スペクトル記録メモリ１５０４は１次元の空間周波数スペクトルを記録するメモリである。
【０１３３】
図１６は本実施形態の３次元形状計測処理の処理手順を示すフローチャートである。図１５の装置を用いて本実施形態の３次元形状計測方法を実行する動作を図１６のフローチャートに従って説明する。
【０１３４】
撮影カメラ３０１で撮影物体３１３が撮影されると、ステップ１６０１において画像入力部３０２は、撮影カメラ３０１で撮影された撮影画像を入力し、その入力した撮影画像データ３１５を画像記録メモリ３０３に記録する。
【０１３５】
ステップ１６０２においてエッジベクトル検出器１５０１は、画像記録メモリ３０３から撮影画像データ３１５を読み出し、ある画素とその画素に隣接する画素の輝度値の差が予め設定した値以上である様な画素を全て抽出することによって輪郭領域を決定する。次に輪郭領域を構成する各々の画素に対してその位置における輪郭領域と直交する法線ベクトルを求めて、輝度変化領域記録メモリ１５０２に該領域と法線ベクトルを書き込む。輪郭領域抽出データ１５０５はそのデータを模式的に表したものであり、各画素毎に単位長さの法線ベクトル１５０６も記録されているものとする。
【０１３６】
ステップ１６０３において空間周波数スペクトル演算器１５０３は、輝度変化領域記録メモリ１５０２から輪郭領域と法線ベクトルを読み出し、各々の画素毎に該画素を中心とし法線ベクトル方向の近傍のＮ画素の画像を画像記録メモリ３０３から読み出し、該近傍領域の画素をフーリエ変換することによって１次元の空間周波数スペクトル１５０７を求めて空間周波数スペクトル記録メモリ１５０４に書き込む。
【０１３７】
ステップ１６０４においてスペクトル強度減衰率演算器３０９は、１次元の空間周波数スペクトルからスペクトル強度減衰率を求める。
【０１３８】
ステップ１６０５において距離演算器３１０は、減衰率→距離参照テーブル３２５を参照し、前記求められたスペクトル強度減衰率に対応する距離を減衰率→距離参照テーブル３２５から求める。なお、減衰率→距離参照テーブル３２５は図６に示した手順に従って予め作成されているものとする。
【０１３９】
ステップ１６０６において補間演算器３１１は、ステップ１６０２で取り出されなかった画素、即ち、距離演算器３１０によって距離の求められなかった画素全てについてステップ１６０７とステップ１６０８を適用することによってその画素における距離を補間生成する。
【０１４０】
ステップ１６０７において補間演算器３１１は、ある画素を選択し、その画素を原点にした時の第１象限から第４象限までの各象限毎に該画素に最も近くかつ距離の求められた画素を１つずつ選択することによって、計４つの画素を求め、数１に従って該画素における距離を補間生成する。なお、本実施形態では各象限毎に画素を１つ選択したが、本実施形態は画素の選択法をこれに限定するものではない。そしてステップ１６０８において補間演算器３１１は、前記補間生成した距離を３次元形状記録メモリ３１２に書き込む。
【０１４１】
以上説明した様に本実施形態の３次元形状計測装置によれば、輝度変化する境界部の法線方向における１次元空間周波数スペクトルのスペクトル強度減衰率から距離を求めるので、計算コストを大幅に削減し処理時間を短縮させることが可能である。
【０１４２】
（実施形態４）
以下に水平方向の１次元空間周波数スペクトルのスペクトル強度減衰率から距離を求める実施形態４の３次元形状計測装置について説明する。
【０１４３】
図１７は本実施形態の３次元形状計測装置の概略構成を示す図である。図１７に示す様に本実施形態の３次元形状計測装置は、画像入力手段１７０２と、水平方向１次元空間周波数スペクトル演算手段１７０３と、スペクトル強度減衰率演算手段１７０４と、距離演算手段１７０５と、補間演算手段１７０６とを有している。
【０１４４】
画像入力手段１７０２は、所定の位置に焦点位置を有する撮影手段１７０１で撮影された撮影画像を入力する手段である。水平方向１次元空間周波数スペクトル演算手段１７０３は、前記入力した撮影画像内の輝度変化が所定値以上の領域について、水平方向の１次元空間周波数スペクトルを求める手段である。
【０１４５】
スペクトル強度減衰率演算手段１７０４は、前記水平方向の１次元空間周波数スペクトルについて、空間周波数に対するスペクトル強度の減衰率を求める手段である。距離演算手段１７０５は、前記求めた減衰率に基づき当該領域の被写体と撮影手段１７０１との距離を求める手段である。
【０１４６】
補間演算手段１７０６は、前記入力した撮影画像内の輝度変化が前記所定値未満の領域について、距離演算手段１７０５により距離が求められている領域からの補間によって当該被写体と撮影手段１７０１との距離を求める手段である。
【０１４７】
図１７では、実施形態１の様な装置で水平方向の１次元空間周波数スペクトルのスペクトル強度減衰率から距離を求める場合の構成を示しているが、実施形態２の様な装置で同様にして距離を求めるものとしても良い。
【０１４８】
すなわち、画像入力手段１７０２では、所定の位置に焦点位置を有する第１の撮影手段１７０１で撮影された第１の撮影画像と前記所定の位置とは異なる焦点位置を有する第２の撮影手段（図示せず）で撮影された第２の撮影画像とをそれぞれ入力し、水平方向１次元空間周波数スペクトル演算手段１７０３では、前記第１及び第２の撮影画像内の輝度変化の少なくとも一方が所定値以上の領域について、輝度変化がより大きい方の撮影画像の水平方向の１次元空間周波数スペクトル及び他方の撮影画像の水平方向の１次元空間周波数スペクトルをそれぞれ第１の空間周波数スペクトル及び第２の空間周波数スペクトルとして求め、スペクトル強度減衰率演算手段１７０４では、前記第１及び第２の空間周波数スペクトルについて、空間周波数に対するスペクトル強度の減衰率をそれぞれ第１及び第２の減衰率として求め、距離演算手段１７０５では、前記第１及び第２の減衰率に基づき当該領域の被写体と前記第１または第２の撮影手段との距離を求め、補間演算手段１７０６では、前記第１及び第２の撮影画像内の輝度変化がいずれも前記所定値未満の領域について、距離演算手段１７０５により距離が求められている領域からの補間によって当該被写体と前記第１または第２の撮影手段との距離を求めるものとしても良い。
【０１４９】
また本実施形態の３次元形状計測装置は、コンピュータとプログラムによっても実現でき、そのプログラムを記録媒体に記録することも、ネットワークを通して提供することも可能であるものとする。
【０１５０】
図１８は本実施形態の輝度変化する方向と水平方向の１次元空間周波数スペクトルの関係を示す図である。図１８の撮影画像１８０１は水平方向に輝度変化する境界部を撮影した画像であり、輝度変化境界部領域１８０２は水平方向に輝度変化する境界部の領域である。この輝度変化境界部領域１８０２の水平方向の１次元空間周波数スペクトルを求めると空間周波数スペクトル１８０３が得られる。空間周波数スペクトル１８０３より減衰率１８０４を求めることによって水平方向に輝度変化する境界部の減衰率を効率良く求められる。
【０１５１】
一方、撮影画像１８０５は垂直方向に輝度変化する境界部を撮影した画像である。この撮影画像１８０５の輝度変化境界部領域１８０６の水平方向の１次元空間周波数スペクトルを求めると空間周波数スペクトル１８０７が得られる。空間周波数スペクトル１８０７は殆ど高周波成分が含まれないため減衰率を求めることができない。
【０１５２】
従って本実施形態の方法では、水平方向に輝度変化する境界部は正しく処理できるが、境界部が傾くに連れて誤差が大きくなり垂直方向に輝度変化する境界部は計測できない。しかしながら、視差効果を利用する３Ｄ画像生成に用いる場合は、主に水平方向に輝度変化する境界部だけ捉えられば十分なことが多いので、この種の用途に対しては本方法は有用である。更に本実施形態の方法では、実施形態３の方法と比較して境界部の向きの検出等が不要となるため、計算コストの削減や処理速度の向上を更に計ることが可能となる。
【０１５３】
図１９は本実施形態の３次元形状計測処理の処理概要を示す図である。所定の位置に焦点位置を有する撮影手段によって撮影が行われると、ステップ１９０１において画像入力手段１７０２は、その撮影手段で撮影された撮影画像を入力する。図１７の様に実施形態１と同様の構成の場合であれば、焦点位置の近い撮影手段１７０１で画像を撮影し、実施形態２と同様の構成の場合であれば、焦点位置の遠い撮影手段と焦点位置の近い撮影手段を用いて２枚の画像を撮影する。
【０１５４】
ステップ１９０２において水平方向１次元空間周波数スペクトル演算手段１７０３は、輝度変化が所定の設定値以上の領域を検出する。
【０１５５】
ステップ１９０３において水平方向１次元空間周波数スペクトル演算手段１７０３は、ステップ１９０２で検出した領域について、水平方向の１次元の空間周波数スペクトルを求め、スペクトル強度減衰率演算手段１７０４により空間周波数に対するスペクトル強度の減衰率を求める。
【０１５６】
ステップ１９０４において距離演算手段１７０５は、前ステップで求めた減衰率を用いて距離を求める。具体的な求め方は、実施形態１または実施形態２の作用で説明した方法に基づくものとする。また補間演算手段１７０６は、前記撮影画像内の輝度変化が前記所定値未満の領域について、距離演算手段１７０５により距離が求められている領域からの補間によって当該被写体と撮影手段１７０１との距離を求める。
【０１５７】
本実施形態の３次元形状計測方法を用いることによって、２次元の空間周波数スペクトルを求める必要が無くなり、輝度変化する境界部の向きを求める必要も無くなるので、計算コストを大幅に削減することが可能となり、処理時間も短縮できる。
【０１５８】
一方で、本実施形態の方法は、水平方向の処理のみなので垂直方向に距離が変わる領域を計測することができない。しかしながら、視差画像を生成する場合等では水平方向にのみ距離が変わる領域を計測できれば十分であることが多く、その様な用途に用いる場合は問題が無い。
次に、本実施形態の３次元形状計測装置のより具体的な構成と、その動作について説明する。
【０１５９】
図２０は本実施形態の３次元形状計測装置の具体例を示す図である。本実施形態の３次元形状計測装置は、水平方向の１次元空間周波数スペクトルのスペクトル強度減衰率から距離を求める為の構成を、図３に示した実施形態１の装置に組み込んだものである。従って、実施形態１の図３の装置と全く同じ構成手段に関しては図３と同等の番号を与え説明を省略する。
【０１６０】
水平方向１次元空間周波数スペクトル演算器２００１は水平方向の１次元空間周波数スペクトルを算出する演算器である。空間周波数スペクトル記録メモリ２００２は水平方向の１次元空間周波数スペクトルを記録するメモリである。スペクトル強度減衰率演算器２００３は水平方向の１次元空間周波数スペクトルの周波数に対するスペクトル強度の減衰率を算出する演算器である。
【０１６１】
図２１は本実施形態の３次元形状計測処理の処理手順を示すフローチャートである。図２０の装置を用いて本実施形態の３次元形状計測方法を実行する動作を図２１のフローチャートに従って説明する。
【０１６２】
撮影カメラ３０１で撮影物体３１３が撮影されると、ステップ２１０１において画像入力部３０２は、撮影カメラ３０１で撮影された撮影画像を入力し、その入力した撮影画像データ３１５を画像記録メモリ３０３に記録する。
【０１６３】
ステップ２１０２においてエッジ検出器３０４は、画像記録メモリ３０３から撮影画像データ３１５を読み出して、ある画素とその画素に隣接する画素の輝度値の差が予め設定した値以上である様な画素を全て抽出することによって輪郭領域を決定し、輝度変化領域記録メモリ３０５に該領域を書き込む。
【０１６４】
ステップ２１０３において水平方向１次元空間周波数スペクトル演算器２００１は、輝度変化領域記録メモリ３０５から輪郭領域を読み出し、各々の画素毎に該画素を中心とした水平方向の近傍のＮ画素の画像を画像記録メモリ３０３から読み出し、該近傍領域の画素をフーリエ変換することによって１次元の空間周波数スペクトル２００４を求めて空間周波数スペクトル記録メモリ２００２に書き込む。
【０１６５】
ステップ２１０４においてスペクトル強度減衰率演算器２００３は、１次元の空間周波数スペクトルから水平方向のスペクトル強度減衰率を求める。
【０１６６】
ステップ２１０５において距離演算器３１０は、減衰率→距離参照テーブル３２５を参照し、前記求められたスペクトル強度減衰率に対応する距離を減衰率→距離参照テーブル３２５から求める。なお、減衰率→距離参照テーブル３２５は図６に示した手順に従って予め作成されているものとする。
【０１６７】
ステップ２１０６において補間演算器３１１、ステップ２１０２で取り出されなかった画素、即ち、距離演算器３１０によって距離の求められなかった画素全てについてステップ２１０７とステップ２１０８を適用することによってその画素における距離を補間生成する。
【０１６８】
ステップ２１０７において補間演算器３１１は、ある画素を選択し、その画素を原点にした時の第１象限から第４象限までの各象限毎に該画素に最も近くかつ距離の求められた画素を１つずつ選択することによって、計４つの画素を求め、数１に従って該画素における距離を補間生成する。なお、本実施形態では各象限毎に画素を１つ選択したが、本実施形態は画素の選択法をこれに限定するものではない。そしてステップ２１０８において補間演算器３１１は、前記補間生成した距離を３次元形状記録メモリ３１２に書き込む。
【０１６９】
以上説明した様に本実施形態の３次元形状計測装置によれば、水平方向の１次元の空間周波数スペクトルのスペクトル強度減衰率から距離を求めるので、性能低下を最小限に押さえながら効率良く計算コストを削減することが可能である。
【０１７０】
（実施形態５）
以下に可変光学系による焦点位置可変撮影装置を用いた実施形態５の３次元形状計測装置について説明する。
【０１７１】
図２２は本実施形態の可変光学系による焦点位置可変撮影装置の概略構成を示す図である。図２２に示す様に本実施形態の焦点位置可変撮影装置は、結像光学系２２０１と、撮像素子２２０２と、シャッタ手段２２０３と、伝達手段２２０４とを有している。
【０１７２】
結像光学系２２０１は、可動部が駆動されることによって焦点位置が変化する光学系である。撮像素子２２０２は、撮影対象の画像を検出する素子である。シャッタ手段２２０３は、２段階の押す深さを持つシャッタである。伝達手段２２０４は、シャッタ手段２２０３のシャッタの押された深さに応じて結像光学系２２０１の可動部を駆動する手段である。
【０１７３】
図２２の（１）はシャッタを押す前の状態を表しており、結像光学系２２０１と撮像素子２２０２を合わせて焦点位置の可変光学系を用いた一つの撮影手段を構成している。
【０１７４】
本装置の動作を説明する。シャッタ手段２２０３を押すと、中間距離まで押し込まれた状態において図２２の（２）に示す形態となる。この状態で１回目の撮影をすることによって、焦点位置の遠い撮影手段７０１で撮影された撮影画像８０７を入力する実施形態２のステップ８０１の処理を行うことができる。
【０１７５】
更にシャッタ手段２２０３を押し込むと、伝達手段２２０４によって撮像素子２２０２が結像光学系２２０１からより離れた位置に移動する。この時の形態を図２２の（３）に示す。この結果、結像光学系２２０１と撮像素子２２０２を合わせて焦点位置の近い撮影光学系を構成することになるので、この状態で２回目の撮影をすることによって焦点位置の近い撮影手段７０２で撮影された撮影画像８１０を入力する実施形態２のステップ８０２の処理を行うことができる。
【０１７６】
本実施形態の焦点位置可変撮影装置を用いることにより、焦点位置を動かす為の専用の動力が必要無くなる、撮影者に特別な操作を強いることなく自然かつ高速に可変焦点撮影が可能となる等の利点を生じる。
次に、本実施形態の焦点位置可変撮影装置のより具体的な構成と、その動作について説明する。
【０１７７】
図２３は本実施形態の可変光学系による焦点位置可変撮影装置の具体例を示す図である。シャッタボタン２３０１は、本実施形態の焦点位置可変撮影装置のシャッタを操作する為のボタンである。信号送信器２３０３はシャッタボタン２３０１が１段階目の深さ２３０２に達した時に信号を送る送信器である。信号送信器２３０５はシャッタボタン２３０１が２段階目の深さ２３０４に達した時に信号を送る送信器である。なお、信号送信器２３０３や信号送信器２３０５は能動的な素子で無く、単なる電気的なＯＮ／ＯＦＦを行うだけのスイッチであっても構わない。リンク機構２３０６はシャッタボタン２３０１が深さ２３０２から深さ２３０４に押されるときにその移動量を結像レンズ系２３０７に伝達する機構である。結像レンズ系２３０７は撮影画像を撮像素子２３０８上に結像する働きを有する。
【０１７８】
なお、リンク系の構成は本実施形態に限定するものではなく、シャッタボタンの移動量を伝達することによって結像レンズ系２３０７と撮像素子２３０８間の相対的な間隔を物理的または光学的に変えることができる構成であるならば本実施形態の焦点位置の可変光学系を駆動する伝達手段と見なされるものとする。また、結像レンズ系２３０７ではなく撮像素子２３０８の位置を動かすことによっても焦点位置を変えることができるのは言うまでもない。
【０１７９】
次に、本装置の動作を説明する。図２３の（１）はシャッタボタン２３０１が押されていない状態である。この時、結像レンズ系２３０７は位置２３０９にあり、この状態でレンズの焦点位置は遠方にあるので遠くの物体にピントが合う状態である。
【０１８０】
図２３の（２）はシャッタボタン２３０１が１段目の深さ２３０２に押された状態である。信号送信器２３０３によって撮影信号が送信され撮影を行うことができる。この際、結像レンズ系２３０７と撮像素子２３０８の相対的な位置は（１）と変わっていないので遠くの物体にピントが合う状態で撮影が行われる。
【０１８１】
図２３の（３）はシャッタボタン２３０１が２段目の深さ２３０４に押された状態である。シャッタボタン２３０１が深さ２３０４まで押し込まれると、その動きはリンク機構２３０６を通して結像レンズ系２３０７に伝達され、結像レンズ系２３０７が位置２３１０へと前方に変移する。この状態ではレンズの焦点位置が近くなって、近くの物体にピントが合う状態となる。この状態で信号送信器２３０５によって撮影信号が送信され撮影を行うと、近くの物体にピントが合う状態で撮影が行われることになる。
【０１８２】
以上の様に本実施形態の焦点位置可変撮影装置では、特別な動力を必要とすること無く一つの撮影手段で異なる２焦点位置の撮影が可能、撮影者に特別な動作を強いること無く普通にシャッタボタンを押すだけで瞬時に焦点位置の異なる２枚の画像を続けて撮影可能とする利便性を提供できる。
【０１８３】
以上説明した様に本実施形態の３次元形状計測装置によれば、シャッタの押された深さに応じて光学系の可動部を駆動して焦点位置を変化させるので、動力を不要として低コスト化をはかり、かつ、簡便な操作で高速に焦点位置を変更することが可能である。
【０１８４】
【発明の効果】
本発明の方法及び装置によって、小型、低コスト低消費電力、計測環境や計測範囲に制限のない３次元形状計測装置を提供することができる。
本発明の方法及び装置によって、従来法では安定して計測できなかった領域も、計測できた領域から補間生成することによって、安定して概形を求めることができる。
本発明の方法及び装置によって、特に水平方向で変化する距離情報のみが必要な場合、更に計算コストが低く計算時間の早い計測装置を提供することができる。
本発明の装置によって、撮影者が普通にシャッタを押すだけで、焦点位置の異なる２枚の画像を続けて撮影可能とする装置を提供することができる。
【図面の簡単な説明】
【図１】実施形態１の３次元形状計測装置の概略構成を示す図である。
【図２】実施形態１の３次元形状計測装置の処理概要を示す図である。
【図３】実施形態１の３次元形状計測装置の具体例を示す図である。
【図４】実施形態１の図３の３次元形状計測装置の処理手順を示すフローチャートである。
【図５】実施形態１の画素の隣接条件の概要を示す図である。
【図６】実施形態１の減衰率→距離参照テーブル作成処理の処理手順を示すフローチャートである。
【図７】実施形態２の３次元形状計測装置の概略構成を示す図である。
【図８】実施形態２の３次元形状計測処理の処理概要を示す図である。
【図９】実施形態２の３次元形状計測装置の具体例を示す図である。
【図１０】実施形態２の図９の３次元形状計測装置の処理手順を示すフローチャートである。
【図１１】実施形態２の減衰率比→距離参照テーブル作成処理の処理手順を示すフローチャートである。
【図１２】実施形態３の３次元形状計測装置の概略構成を示す図である。
【図１３】実施形態３の輝度変化する境界部の法線方向と空間周波数スペクトルの関係を示す図である。
【図１４】実施形態３の３次元形状計測処理の処理概要を示す図である。
【図１５】実施形態３の３次元形状計測装置の具体例を示す図である。
【図１６】実施形態３の３次元形状計測処理の処理手順を示すフローチャートである。
【図１７】実施形態４の３次元形状計測装置の概略構成を示す図である。
【図１８】実施形態４の輝度変化する方向と水平方向の１次元空間周波数スペクトルの関係を示す図である。
【図１９】実施形態４の３次元形状計測処理の処理概要を示す図である。
【図２０】実施形態４の３次元形状計測装置の具体例を示す図である。
【図２１】実施形態４の３次元形状計測処理の処理手順を示すフローチャートである。
【図２２】実施形態５の可変光学系による焦点位置可変撮影装置の概略構成を示す図である。
【図２３】実施形態５の可変光学系による焦点位置可変撮影装置の具体例を示す図である。
【符号の説明】
１０１…撮影手段、１０２…画像入力手段、１０３…空間周波数スペクトル演算手段、１０４…スペクトル強度減衰率演算手段、１０５…距離演算手段、１０６…補間演算手段、２０６…撮影画像、２０７…距離の近い領域、２０８…距離の遠い領域、２０９…輪郭領域抽出データ、２１０…点、２１１…空間周波数スペクトル、２１２…領域、２１３…減衰率→距離参照テーブル、２１４及び２１５…画素、３０１…撮影カメラ、３０２…画像入力部、３０３…画像記録メモリ、３０４…エッジ検出器、３０５…輝度変化領域記録メモリ、３０６…空間周波数スペクトル演算器、３０７…空間周波数スペクトル記録メモリ、３０８…最大分布方向検出器、３０９…スペクトル強度減衰率演算器、３１０…距離演算器、３１１…補間演算器、３１２…３次元形状記録メモリ、３１３…撮影物体、３１４…焦点位置、３１５…撮影画像データ、３１６…輪郭領域抽出データ、３１７…空間周波数スペクトル、３１８…最大分布方向、３１９…補間概略図、３２０…原点、３２１〜３２４…画素、３２５…減衰率→距離参照テーブル、６０８…校正用撮影板、７０１及び７０２…撮影手段、７０３…画像入力手段、７０４…空間周波数スペクトル演算手段、７０５…スペクトル強度減衰率演算手段、７０６…距離演算手段、７０７…補間演算手段、８０７…撮影画像、８０８…距離の遠い領域、８０９…距離の近い領域、８１０…撮影画像、８１１…距離の近い領域、８１２…距離の遠い領域、８１３…輪郭領域抽出データ、８１４及び８１５…空間周波数スペクトル、８１６…領域、８１７及び８１８…減衰率、８１９…方向、８２０…減衰率比→距離参照テーブル、９０１及び９０２…撮影カメラ、９０３…画像入力部、９０４及び９０５…画像記録メモリ、９０６…エッジ検出器、９０７…輝度変化領域記録メモリ、９０８…空間周波数スペクトル演算器、９０９及び９１０…空間周波数スペクトル記録メモリ、９１１…最大分布方向検出器、９１２及び９１３…スペクトル強度減衰率演算器、９１４…距離演算器、９１５…補間演算器、９１６…３次元形状記録メモリ、９１７…撮影物体、９１８及び９１９…焦点位置、９２０及び９２１…画像データ、９２２…輪郭領域抽出データ、９２３及び９２４…輪郭領域、９２５…画素、９２６及び９２７…空間周波数スペクトル、９２８…方向、９２９…ハーフミラー、９３０…ミラー、９３１…補間概略図、９３２…原点、９３３〜９３６…画素、９３７…減衰率比→距離参照テーブル、１１０９…校正用撮影板、１２０１及び１２０２…撮影手段、１２０３…画像入力手段、１２０４…法線方向１次元空間周波数スペクトル演算手段、１２０５…スペクトル強度減衰率演算手段、１２０６…距離演算手段、１２０７…補間演算手段、１３０１…撮影画像、１３０２…輝度変化境界部領域、１３０３…輝度変化境界部法線方向、１３０４…空間周波数スペクトル、１３０５…矢印、１５０１…エッジベクトル検出器、１５０２…輝度変化領域記録メモリ、１５０３…空間周波数スペクトル演算器、１５０４…空間周波数スペクトル記録メモリ、１５０５…輪郭領域抽出データ、１５０６…法線ベクトル、１５０７…空間周波数スペクトル、１７０１…撮影手段、１７０２…画像入力手段、１７０３…水平方向１次元空間周波数スペクトル演算手段、１７０４…スペクトル強度減衰率演算手段、１７０５…距離演算手段、１７０６…補間演算手段、１８０１…撮影画像、１８０２…輝度変化境界部領域、１８０３…空間周波数スペクトル、１８０４…減衰率、１８０５…撮影画像、１８０６…輝度変化境界部領域、１８０７…空間周波数スペクトル、２００１…水平方向１次元空間周波数スペクトル演算器、２００２…空間周波数スペクトル記録メモリ、２００３…スペクトル強度減衰率演算器、２００４…空間周波数スペクトル、２２０１…結像光学系、２２０２…撮像素子、２２０３…シャッタ手段、２２０４…伝達手段、２３０１…シャッタボタン、２３０２…深さ、２３０３…信号送信器、２３０４…深さ、２３０５…信号送信器、２３０６…リンク機構、２３０７…結像レンズ系、２３０８…撮像素子、２３０９及び２３１０…位置。

Claims (14)

1. 撮影手段で撮影された撮影画像を入力する第１のステップと、
   前記撮影画像内の輝度変化が所定値以上の領域について、該領域内の画素を中心とする近傍領域の輝度の２次元空間周波数スペクトル分布を求める第２のステップと、
   前記２次元空間周波数スペクトル分布について、空間周波数に対するスペクトル強度の直流成分から高周波領域までの減衰率が最小となる当該２次元空間周波数スペクトル分布の中心からの方向を検出し、該方向における前記減衰率を求める第３のステップと、
   前記第３のステップで求めた減衰率、および被写体と前記撮影手段との距離と前記減衰率との対応関係を予め記録したテーブルに基づき当該領域の被写体と前記撮影手段との距離を求める第４のステップと、
   前記撮影画像内の輝度変化が前記所定値未満の領域について、前記第４のステップで被写体と前記撮影手段との距離が求められた領域からの補間によって当該領域の被写体と前記撮影手段との距離を求める第５のステップとを有することを特徴とする３次元形状計測方法。
2. 第１の撮影手段で撮影された第１の撮影画像と前記第１の撮影手段の焦点位置とは異なる焦点位置を有する第２の撮影手段で撮影された第２の撮影画像とをそれぞれ入力する第１のステップと、
   前記第１及び第２の撮影画像内の輝度変化の少なくとも一方が所定値以上の領域について、輝度変化がより大きい方の撮影画像の前記領域内の画素を中心とする近傍領域の輝度の２次元空間周波数スペクトル分布及び他方の撮影画像の前記領域内の画素を中心とする近傍領域の輝度の２次元空間周波数スペクトル分布をそれぞれ第１の２次元空間周波数スペクトル分布及び第２の２次元空間周波数スペクトル分布として求める第２のステップと、
   前記第１の２次元空間周波数スペクトル分布について、空間周波数に対するスペクトル強度の直流成分から高周波領域までの減衰率が最小となる当該２次元空間周波数スペクトル分布の中心からの方向を検出し、該方向における前記減衰率を第１の減衰率として求め、前記第２の２次元空間周波数スペクトル分布について、前記方向と同じ方向における前記減衰率を第２の減衰率として求める第３のステップと、
   前記第３のステップで求めた第１の減衰率と第２の減衰率の比を減衰率比として求め、該減衰率比、および被写体と前記第１または第２の撮影手段との距離と前記減衰率比との対応関係を予め記録したテーブルに基づき当該領域の被写体と前記第１または第２の撮影手段との距離を求める第４のステップと、
   前記第１及び第２の撮影画像内の輝度変化がいずれも前記所定値未満の領域について、前記第４のステップで被写体と前記第１または第２の撮影手段との距離が求められた領域からの補間によって当該領域の被写体と前記第１または第２の撮影手段との距離を求める第５のステップとを有することを特徴とする３次元形状計測方法。
3. 撮影手段で撮影された撮影画像を入力する第１のステップと、
   前記撮影画像内の輝度変化が所定値以上の領域について、該輝度変化の境界部の法線方向と該法線方向の輝度の１次元空間周波数スペクトル分布とを求める第２のステップと、
   前記１次元空間周波数スペクトル分布について、空間周波数に対するスペクトル強度の直流成分から高周波領域までの減衰率を求める第３のステップと、
   前記第３のステップで求めた減衰率、および被写体と前記撮影手段との距離と前記減衰率との対応関係を予め記録したテーブルに基づき当該領域の被写体と前記撮影手段との距離を求める第４のステップと、
   前記撮影画像内の輝度変化が前記所定値未満の領域について、前記第４のステップで被写体と前記撮影手段との距離が求められた領域からの補間によって当該領域の被写体と前記撮影手段との距離を求める第５のステップとを有することを特徴とする３次元形状計測方法。
4. 第１の撮影手段で撮影された第１の撮影画像と前記第１の撮影手段の焦点位置とは異なる焦点位置を有する第２の撮影手段で撮影された第２の撮影画像とをそれぞれ入力する第１のステップと、
   前記第１及び第２の撮影画像内の輝度変化の少なくとも一方が所定値以上の領域について、輝度変化がより大きい方の撮影画像の該輝度変化の境界部の法線方向を求めると共に、輝度変化がより大きい方の撮影画像の該法線方向の輝度の１次元空間周波数スペクトル分布及び他方の撮影画像の該法線方向の輝度の１次元空間周波数スペクトル分布をそれぞれ第１の１次元空間周波数スペクトル分布及び第２の１次元空間周波数スペクトル分布として求める第２のステップと、
   前記第１及び第２の１次元空間周波数スペクトル分布について、空間周波数に対するスペクトル強度の直流成分から高周波領域までの減衰率をそれぞれ第１及び第２の減衰率として求める第３のステップと、
   前記第３のステップで求めた第１の減衰率と第２の減衰率の比を減衰率比として求め、該減衰率比、および被写体と前記第１または第２の撮影手段との距離と前記減衰率比との対応関係を予め記録したテーブルに基づき当該領域の被写体と前記第１または第２の撮影手段との距離を求める第４のステップと、
   前記第１及び第２の撮影画像内の輝度変化がいずれも前記所定値未満の領域について、前記第４のステップで被写体と前記第１または第２の撮影手段との距離が求められた領域からの補間によって当該領域の被写体と前記第１または第２の撮影手段との距離を求める第５のステップとを有することを特徴とする３次元形状計測方法。
5. 撮影手段で撮影された撮影画像を入力する第１のステップと、
   前記撮影画像内の輝度変化が所定値以上の領域について、水平方向の輝度の１次元空間周波数スペクトル分布を求める第２のステップと、
   前記１次元空間周波数スペクトル分布について、空間周波数に対するスペクトル強度の直流成分から高周波領域までの減衰率を求める第３のステップと、
   前記第３のステップで求めた減衰率、および被写体と前記撮影手段との距離と前記減衰率との対応関係を予め記録したテーブルに基づき当該領域の被写体と前記撮影手段との距離を求める第４のステップと、
   前記撮影画像内の輝度変化が前記所定値未満の領域について、前記第４のステップで被写体と前記撮影手段との距離が求められた領域からの補間によって当該領域の被写体と前記撮影手段との距離を求める第５のステップとを有することを特徴とする３次元形状計測方法。
6. 第１の撮影手段で撮影された第１の撮影画像と前記第１の撮影手段の焦点位置とは異なる焦点位置を有する第２の撮影手段で撮影された第２の撮影画像とをそれぞれ入力する第１のステップと、
   前記第１及び第２の撮影画像内の輝度変化の少なくとも一方が所定値以上の領域について、輝度変化がより大きい方の撮影画像の水平方向の輝度の１次元空間周波数スペクトル分布及び他方の撮影画像の水平方向の輝度の１次元空間周波数スペクトル分布をそれぞれ第１の１次元空間周波数スペクトル分布及び第２の１次元空間周波数スペクトル分布として求める第２のステップと、
   前記第１及び第２の１次元空間周波数スペクトル分布について、空間周波数に対するスペクトル強度の直流成分から高周波領域までの減衰率をそれぞれ第１及び第２の減衰率として求める第３のステップと、
   前記第３のステップで求めた第１の減衰率と第２の減衰率の比を減衰率比として求め、該減衰率比、および被写体と前記第１または第２の撮影手段との距離と前記減衰率比との対応関係を予め記録したテーブルに基づき当該領域の被写体と前記第１または第２の撮影手段との距離を求める第４のステップと、
   前記第１及び第２の撮影画像内の輝度変化がいずれも前記所定値未満の領域について、前記第４のステップで被写体と前記第１または第２の撮影手段との距離が求められた領域からの補間によって当該領域の被写体と前記第１または第２の撮影手段との距離を求める第５のステップとを有することを特徴とする３次元形状計測方法。
7. 撮影手段で撮影された撮影画像を入力する画像入力手段と、
   前記撮影画像内の輝度変化が所定値以上の領域について、該領域内の画素を中心とする近傍領域の輝度の２次元空間周波数スペクトル分布を求めるスペクトル演算手段と、
   前記２次元空間周波数スペクトル分布について、空間周波数に対するスペクトル強度の直流成分から高周波領域までの減衰率が最小となる当該２次元空間周波数スペクトル分布の中心からの方向を検出し、該方向における前記減衰率を求める減衰率演算手段と、
   前記減衰率演算手段で求めた減衰率、および被写体と前記撮影手段との距離と前記減衰率との対応関係を予め記録したテーブルに基づき当該領域の被写体と前記撮影手段との距離を求める距離演算手段と、
   前記撮影画像内の輝度変化が前記所定値未満の領域について、前記距離演算手段で被写体と前記撮影手段との距離が求められた領域からの補間によって当該領域の被写体と前記撮影手段との距離を求める補間演算手段とを備えることを特徴とする３次元形状計測装置。
8. 第１の撮影手段で撮影された第１の撮影画像と前記第１の撮影手段の焦点位置とは異なる焦点位置を有する第２の撮影手段で撮影された第２の撮影画像とをそれぞれ入力する画像入力手段と、
   前記第１及び第２の撮影画像内の輝度変化の少なくとも一方が所定値以上の領域について、輝度変化がより大きい方の撮影画像の前記領域内の画素を中心とする近傍領域の輝度の２次元空間周波数スペクトル分布及び他方の撮影画像の前記領域内の画素を中心とする近傍領域の輝度の２次元空間周波数スペクトル分布をそれぞれ第１の２次元空間周波数スペクトル分布及び第２の２次元空間周波数スペクトル分布として求めるスペクトル演算手段と、
   前記第１の２次元空間周波数スペクトル分布について、空間周波数に対するスペクトル強度の直流成分から高周波領域までの減衰率が最小となる当該２次元空間周波数スペクトル分布の中心からの方向を検出し、該方向における前記減衰率を第１の減衰率として求め、前記第２の２次元空間周波数スペクトル分布について、前記方向と同じ方向における前記減衰率を第２の減衰率として求める減衰率演算手段と、
   前記減衰率演算手段で求めた第１の減衰率と第２の減衰率の比を減衰率比として求め、該減衰率比、および被写体と前記第１または第２の撮影手段との距離と前記減衰率比との対応関係を予め記録したテーブルに基づき当該領域の被写体と前記第１または第２の撮影手段との距離を求める距離演算手段と、
   前記第１及び第２の撮影画像内の輝度変化がいずれも前記所定値未満の領域について、前記距離演算手段で被写体と前記第１または第２の撮影手段との距離が求められた領域からの補間によって当該領域の被写体と前記第１または第２の撮影手段との距離を求める補間演算手段とを備えることを特徴とする３次元形状計測装置。
9. 撮影手段で撮影された撮影画像を入力する画像入力手段と、
   前記撮影画像内の輝度変化が所定値以上の領域について、該輝度変化の境界部の法線方向と該法線方向の輝度の１次元空間周波数スペクトル分布とを求めるスペクトル演算手段と、
   前記１次元空間周波数スペクトル分布について、空間周波数に対するスペクトル強度の直流成分から高周波領域までの減衰率を求める減衰率演算手段と、
   前記減衰率演算手段で求めた減衰率、および被写体と前記撮影手段との距離と前記減衰 率との対応関係を予め記録したテーブルに基づき当該領域の被写体と前記撮影手段との距離を求める距離演算手段と、
   前記撮影画像内の輝度変化が前記所定値未満の領域について、前記距離演算手段で被写体と前記撮影手段との距離が求められた領域からの補間によって当該領域の被写体と前記撮影手段との距離を求める補間演算手段とを備えることを特徴とする３次元形状計測装置。
10. 第１の撮影手段で撮影された第１の撮影画像と前記第１の撮影手段の焦点位置とは異なる焦点位置を有する第２の撮影手段で撮影された第２の撮影画像とをそれぞれ入力する画像入力手段と、
    前記第１及び第２の撮影画像内の輝度変化の少なくとも一方が所定値以上の領域について、輝度変化がより大きい方の撮影画像の該輝度変化の境界部の法線方向を求めると共に、輝度変化がより大きい方の撮影画像の該法線方向の輝度の１次元空間周波数スペクトル分布及び他方の撮影画像の該法線方向の輝度の１次元空間周波数スペクトル分布をそれぞれ第１の１次元空間周波数スペクトル分布及び第２の１次元空間周波数スペクトル分布として求めるスペクトル演算手段と、
    前記第１及び第２の１次元空間周波数スペクトル分布について、空間周波数に対するスペクトル強度の直流成分から高周波領域までの減衰率をそれぞれ第１及び第２の減衰率として求める減衰率演算手段と、
    前記減衰率演算手段で求めた第１の減衰率と第２の減衰率の比を減衰率比として求め、該減衰率比、および被写体と前記第１または第２の撮影手段との距離と前記減衰率比との対応関係を予め記録したテーブルに基づき当該領域の被写体と前記第１または第２の撮影手段との距離を求める距離演算手段と、
    前記第１及び第２の撮影画像内の輝度変化がいずれも前記所定値未満の領域について、前記距離演算手段で被写体と前記第１または第２の撮影手段との距離が求められた領域からの補間によって当該領域の被写体と前記第１または第２の撮影手段との距離を求める補間演算手段とを備えることを特徴とする３次元形状計測装置。
11. 撮影手段で撮影された撮影画像を入力する画像入力手段と、
    前記撮影画像内の輝度変化が所定値以上の領域について、水平方向の輝度の１次元空間周波数スペクトル分布を求めるスペクトル演算手段と、
    前記１次元空間周波数スペクトル分布について、空間周波数に対するスペクトル強度の直流成分から高周波領域までの減衰率を求める減衰率演算手段と、
    前記減衰率演算手段で求めた減衰率、および被写体と前記撮影手段との距離と前記減衰率との対応関係を予め記録したテーブルに基づき当該領域の被写体と前記撮影手段との距離を求める距離演算手段と、
    前記撮影画像内の輝度変化が前記所定値未満の領域について、前記距離演算手段で被写体と前記撮影手段との距離が求められた領域からの補間によって当該領域の被写体と前記撮影手段との距離を求める補間演算手段とを有することを特徴とする３次元形状計測装置。
12. 第１の撮影手段で撮影された第１の撮影画像と前記第１の撮影手段の焦点位置とは異なる焦点位置を有する第２の撮影手段で撮影された第２の撮影画像とをそれぞれ入力する画像入力手段と、
    前記第１及び第２の撮影画像内の輝度変化の少なくとも一方が所定値以上の領域について、輝度変化がより大きい方の撮影画像の水平方向の輝度の１次元空間周波数スペクトル分布及び他方の撮影画像の水平方向の輝度の１次元空間周波数スペクトル分布をそれぞれ第１の１次元空間周波数スペクトル分布及び第２の１次元空間周波数スペクトル分布として求めるスペクトル演算手段と、
    前記第１及び第２の１次元空間周波数スペクトル分布について、空間周波数に対するスペクトル強度の直流成分から高周波領域までの減衰率をそれぞれ第１及び第２の減衰率として求める減衰率演算手段と、
    前記減衰率演算手段で求めた第１の減衰率と第２の減衰率の比を減衰率比として求め、該減衰率比、および被写体と前記第１または第２の撮影手段との距離と前記減衰率比との対応関係を予め記録したテーブルに基づき当該領域の被写体と前記第１または第２の撮影手段との距離を求める距離演算手段と、
    前記第１及び第２の撮影画像内の輝度変化がいずれも前記所定値未満の領域について、前記距離演算手段で被写体と前記第１または第２の撮影手段との距離が求められた領域からの補間によって当該領域の被写体と前記第１または第２の撮影手段との距離を求める補間演算手段とを備えることを特徴とする３次元形状計測装置。
13. 前記請求項１乃至請求項６に記載のステップをコンピュータに実行させることを特徴とするプログラム。
14. 前記請求項１３に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images