JP4205533B2 - 立体画像構成方法，立体対象の距離導出方法 - Google Patents
立体画像構成方法，立体対象の距離導出方法 Download PDFInfo
- Publication number
- JP4205533B2 JP4205533B2 JP2003301501A JP2003301501A JP4205533B2 JP 4205533 B2 JP4205533 B2 JP 4205533B2 JP 2003301501 A JP2003301501 A JP 2003301501A JP 2003301501 A JP2003301501 A JP 2003301501A JP 4205533 B2 JP4205533 B2 JP 4205533B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- dimensional object
- reduced
- shift amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 80
- 238000010276 construction Methods 0.000 title claims description 8
- 238000009795 derivation Methods 0.000 title claims description 7
- 150000001875 compounds Chemical class 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 22
- 230000014509 gene expression Effects 0.000 claims description 17
- 239000007787 solid Substances 0.000 claims description 8
- 238000003491 array Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 description 28
- 238000012545 processing Methods 0.000 description 24
- 230000003287 optical effect Effects 0.000 description 13
- 239000000470 constituent Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000009467 reduction Effects 0.000 description 5
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 241000238631 Hexapoda Species 0.000 description 1
- 206010027146 Melanoderma Diseases 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
本発明は，複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮影し，前記複数の縮小像から前記立体対象の画像を構成する立体画像構成方法，及び前記複数の縮小像から構成した前記立体対象の画像に基づいて前記マイクロレンズアレイから前記立体対象の各部位までの距離を求める立体対象の距離導出方法に関するものである。
昨今，例えば半導体製造における各種検査工程等の製造分野や内視鏡等の医療分野，さらには入退室管理における形状認識（人の顔の形状の認識等）等のセキュリティ分野等の広汎な分野において，３次元形状を有する立体対象について，画像ボケのない鮮明な立体画像（３次元画像）を取得する技術や，立体形状に関する情報（撮像装置（カメラ）から立体対象の各部位までの距離情報等，以下，立体情報という）を取得する技術が求められている。さらに，医療分野やセキュリティ分野等においては特に，使用環境の問題から撮像装置の小型化や近距離にある立体対象を撮像可能なことも求められている。
従来，立体画像や立体情報の取得技術としては，単一のカメラ（撮像装置）と立体対象（撮像対象）との距離を変化させながら撮像し，これにより得た複数の画像の各個所における画像ボケ等を解析して立体画像や立体情報を取得する手法や，各々異なる位置に配置された複数のカメラで立体対象を撮像し，これにより得た複数の画像の視差情報を解析して立体画像や立体情報（立体形状）を得る多眼式法等が知られている。
しかしながら，前者の手法では，カメラと立体対象との距離を変化させるアクチュエータ及びその制御装置が必要なため装置が大型化・複雑化する上，得られた複数の画像の撮像時点が各々異なるため，立体対象が動くものである場合には適用できないという問題点がある。
また，後者の多眼式法では，複数のカメラを離して配置し，これらの同期制御を行う制御手段等を設ける必要があり，装置が大型化・複雑化するという問題点がある。
従来，立体画像や立体情報の取得技術としては，単一のカメラ（撮像装置）と立体対象（撮像対象）との距離を変化させながら撮像し，これにより得た複数の画像の各個所における画像ボケ等を解析して立体画像や立体情報を取得する手法や，各々異なる位置に配置された複数のカメラで立体対象を撮像し，これにより得た複数の画像の視差情報を解析して立体画像や立体情報（立体形状）を得る多眼式法等が知られている。
しかしながら，前者の手法では，カメラと立体対象との距離を変化させるアクチュエータ及びその制御装置が必要なため装置が大型化・複雑化する上，得られた複数の画像の撮像時点が各々異なるため，立体対象が動くものである場合には適用できないという問題点がある。
また，後者の多眼式法では，複数のカメラを離して配置し，これらの同期制御を行う制御手段等を設ける必要があり，装置が大型化・複雑化するという問題点がある。
一方，前記２つの手法では，受光素子アレイと一組の光学系で構成される単眼式カメラ（単眼式の撮像装置）が用いられるのに対し，近年，小型化・薄型化が可能な撮像装置（画像入力装置）として，昆虫等に見られる複眼構造を模倣した複眼式カメラ（複眼式画像入力装置）が開発されている。
複眼式カメラは，複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像（物体縮小像）を結像するものである。
図１１は，単眼式カメラの光学系（（ａ）単眼光学系）と複眼式カメラの光学系（（ｂ）複眼光学系）とを模式的に表した図である。
図１１の（ａ），（ｂ）を比較してわかるように，複眼式カメラでは，前記マイクロレンズ８０それぞれの焦点距離（図中，ｆ／Ｎで表す）が微小であるため，複眼式カメラは，同等の明るさの画像が得られる単眼式カメラに比べて極めて小型・薄型の装置構成とすることが可能である。
また，複眼式カメラにおいて，口径が微小な前記マイクロレンズ８０ごとに前記受光素子８１に結像されて得られる複数の縮小像それぞれは解像度の低い画像であるが，複数の縮小像をそれらのずれを補正（シフト）して１つの領域に配置する処理を行うことにより，単一の高精細な画像を構成することができる。
ここで，複数の縮小像から１つの高精細な画像を得る手法としては，例えば，非特許文献１に示される相加平均法や擬似逆行列法等による画像再構成法や，特許文献１に示されるように，複数の縮小像（物体縮小像）間の相関演算によりそれらのシフト量を算定し，そのシフト量に基づいて複数の縮小像を同一領域上に再配置して高精細な画像を得る画像再構成法等が提案されている。
複眼式カメラは，複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像（物体縮小像）を結像するものである。
図１１は，単眼式カメラの光学系（（ａ）単眼光学系）と複眼式カメラの光学系（（ｂ）複眼光学系）とを模式的に表した図である。
図１１の（ａ），（ｂ）を比較してわかるように，複眼式カメラでは，前記マイクロレンズ８０それぞれの焦点距離（図中，ｆ／Ｎで表す）が微小であるため，複眼式カメラは，同等の明るさの画像が得られる単眼式カメラに比べて極めて小型・薄型の装置構成とすることが可能である。
また，複眼式カメラにおいて，口径が微小な前記マイクロレンズ８０ごとに前記受光素子８１に結像されて得られる複数の縮小像それぞれは解像度の低い画像であるが，複数の縮小像をそれらのずれを補正（シフト）して１つの領域に配置する処理を行うことにより，単一の高精細な画像を構成することができる。
ここで，複数の縮小像から１つの高精細な画像を得る手法としては，例えば，非特許文献１に示される相加平均法や擬似逆行列法等による画像再構成法や，特許文献１に示されるように，複数の縮小像（物体縮小像）間の相関演算によりそれらのシフト量を算定し，そのシフト量に基づいて複数の縮小像を同一領域上に再配置して高精細な画像を得る画像再構成法等が提案されている。
ところで，結像光学系において，画像ボケ（ここでは，いわゆるピンボケを表す）のない（或いは，画像ボケが許容される）像を得ることについての評価尺度として被写界深度がある。この被写界深度は，立体対象を撮影した際に，画像ボケのない（或いは，画像ボケが許容される）像を得ることができる立体対象の奥行き幅（カメラから見た奥行き）として表される。被写界深度については，非特許文献２等に詳しい。
この被写界深度について，図１２を用いて説明する。
図１２において，物体面（撮像対象の前面）をＯ，レンズ８２の焦平面をＯ’とする。ここで，レンズ８２を通して得られる像において，前記焦平面Ｏ’上における許容錯乱円直径ε程度の画像ボケは許容されるとする。このとき，レンズ８２により集光される光が前記許容錯乱円（直径ε）の範囲内に収まるときの前記焦平面Ｏ’から最も離れた前後の結像面をＯ1’及びＯ2’とすると，Ｏ1’からＯ2’の範囲内に結像する物体側の位置Ｏ1からＯ2までの範囲にある物体の像は，焦平面Ｏ’に結像される像としてボケなしに取得できる。このとき前記Ｏ1から前記Ｏ2までの距離を被写界深度といい，さらに，前記Ｏ1から前記Ｏまでの距離ａ1を後側被写界深度，前記Ｏから前記Ｏ2までの距離ａ2を前側被写界深度という。
結像公式から。ａ1とａ2は，それぞれ次の（１）式と（２）式とで表される。但し，ｓ，ｓ1及びｓ2は前記レンズ８２から前記物体面Ｏ，Ｏ1及びＯ2までの各距離，ｆ及びｄは前記レンズ８２の焦点距離及び口径を表し，Ｆ＝ｆ／ｄである。
ここで，物体までの距離ｓを次の（３）式で求まるＳhに設定すれば，（１）式及び（２）式において，ａ1=∞，ａ2≒Ｓh／２となり，無限遠からＳh／２までの距離の範囲内にある物体はすべて被写界深度内に入る。一般に，Ｓhは過焦点距離と呼ばれる。
この（３）式からわかるように，レンズの焦点距離ｆ及び口径ｄが小さいほど過焦点距離が短い，即ち，より近距離にある物体について被写界深度内に入る。従って，一般に単眼式カメラよりも各レンズ（マイクロレンズ）の焦点距離ｆ及び口径ｄが非常に小さい複眼式カメラを用いれば，単眼式カメラを用いる場合に比べて，非常に近距離にある物体（撮像対象）についても画像ボケのない像（前記縮小像）を得ることができる。
特開平２００３―１４１５２９号公報
J. Tanida, T. Kumagai, K. Yamada, S. Miyatake, K. Ishida, T. Morimoto, N. Kondo, D. Miyazaki, and Y. Ichioka, "Thin Observation module by bound optics (TOMBO): concept and experimental verification," Appl. Opt. 40, 1806-1813 (2001)
高橋友刀, "レンズ設計", (東海大学出版会, 1994)
この被写界深度について，図１２を用いて説明する。
図１２において，物体面（撮像対象の前面）をＯ，レンズ８２の焦平面をＯ’とする。ここで，レンズ８２を通して得られる像において，前記焦平面Ｏ’上における許容錯乱円直径ε程度の画像ボケは許容されるとする。このとき，レンズ８２により集光される光が前記許容錯乱円（直径ε）の範囲内に収まるときの前記焦平面Ｏ’から最も離れた前後の結像面をＯ1’及びＯ2’とすると，Ｏ1’からＯ2’の範囲内に結像する物体側の位置Ｏ1からＯ2までの範囲にある物体の像は，焦平面Ｏ’に結像される像としてボケなしに取得できる。このとき前記Ｏ1から前記Ｏ2までの距離を被写界深度といい，さらに，前記Ｏ1から前記Ｏまでの距離ａ1を後側被写界深度，前記Ｏから前記Ｏ2までの距離ａ2を前側被写界深度という。
結像公式から。ａ1とａ2は，それぞれ次の（１）式と（２）式とで表される。但し，ｓ，ｓ1及びｓ2は前記レンズ８２から前記物体面Ｏ，Ｏ1及びＯ2までの各距離，ｆ及びｄは前記レンズ８２の焦点距離及び口径を表し，Ｆ＝ｆ／ｄである。
しかしながら，従来，小型化・薄型化が可能な複眼式カメラを用いてどのような条件及び方法で撮影及び画像構成を行えば，立体対象（３次元の撮像対象）についてのボケのない画像や立体情報を得られるかが明らかでないという問題点があった。
例えば，複眼式カメラを用いた場合，前述したように近距離にある物体（撮像対象）についてもピンボケのない縮小像を得ることができるが，高解像度の（高精細の）立体画像を得るためには，複数の縮小像をそのずれを補正（シフト）して１つの領域に配置する処理を行う必要がある。そのシフト量は，撮像対象までの距離の設定値によって異なるため，被写界深度内に立体対象（立体の撮像対象）が入っている場合でも，カメラから立体対象までの距離の設定値を適切に設定した上でシフト量を求めて縮小像を配置しなければ，前記複数の縮小像の配置のずれ（前記シフト量の誤算出）に起因する格子状のノイズ（画像ボケの一例）が生じ，結局，高精細な画像ボケのない立体画像を構成することができない等である。
従って，本発明は上記事情に鑑みてなされたものであり，その目的とするところは，複眼式カメラを用いて画像ボケのない立体対象の画像を得るための立体画像構成方法及び複眼式カメラを用いて立体対象までの距離（立体情報）を得るための立体対象の距離導出方法を提供することにある。
例えば，複眼式カメラを用いた場合，前述したように近距離にある物体（撮像対象）についてもピンボケのない縮小像を得ることができるが，高解像度の（高精細の）立体画像を得るためには，複数の縮小像をそのずれを補正（シフト）して１つの領域に配置する処理を行う必要がある。そのシフト量は，撮像対象までの距離の設定値によって異なるため，被写界深度内に立体対象（立体の撮像対象）が入っている場合でも，カメラから立体対象までの距離の設定値を適切に設定した上でシフト量を求めて縮小像を配置しなければ，前記複数の縮小像の配置のずれ（前記シフト量の誤算出）に起因する格子状のノイズ（画像ボケの一例）が生じ，結局，高精細な画像ボケのない立体画像を構成することができない等である。
従って，本発明は上記事情に鑑みてなされたものであり，その目的とするところは，複眼式カメラを用いて画像ボケのない立体対象の画像を得るための立体画像構成方法及び複眼式カメラを用いて立体対象までの距離（立体情報）を得るための立体対象の距離導出方法を提供することにある。
上記目的を達成するために第１の発明は，複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮影し，前記複数の縮小像から前記立体対象の画像を構成する立体画像構成方法において，前記マイクロレンズアレイの正面方向における下記（Ｘ１）式を満たす前面側距離ｂfから下記（Ｘ２）式により求まる背面側距離ｂbまでの範囲内に前記立体対象が配置された状態で前記複眼式カメラによる撮影で得られた前記複数の縮小像について，下記（Ｘ３）式により求まる設定距離ｂrを前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める第１のシフト量算出工程と，前記第１のシフト量算出工程で得られた前記シフト量に基づいて前記複数の縮小像を同一領域上に配置して単一の前記立体対象の画像を構成する第１の縮小像配置工程と，を有してなることを特徴とする立体画像構成方法である。
但し，Ｄは前記マイクロレンズアレイ側から見た前記立体対象の奥行き方向の厚み，ｄ及びｆは前記マイクロレンズ各々の口径及び焦点距離，Ｎは前記マイクロレンズの一次元方向の配列数，νは前記受光素子上の前記縮小像各々の一次元方向の画素数，ｒはその値が約０．１である係数を表す。
このような方法によれば，撮像対象となる前記立体対象の奥行き方向の厚みが既知であり，前記立体対象までの距離を所望の距離に設定できる場合に，１回の撮像によって画像ボケのない立体対象の画像を得ることができる。しかも，前記マイクロレンズの口径及び焦点距離はごく小さいので，単眼式カメラを用いる場合に比べ，より近距離にある立体対象について画像ボケのない画像を構成することが可能である。前記係数ｒを約０．１とすることは，画像ボケのない立体対象の画像が得られる条件として実験的に得られたものである。
このような方法によれば，撮像対象となる前記立体対象の奥行き方向の厚みが既知であり，前記立体対象までの距離を所望の距離に設定できる場合に，１回の撮像によって画像ボケのない立体対象の画像を得ることができる。しかも，前記マイクロレンズの口径及び焦点距離はごく小さいので，単眼式カメラを用いる場合に比べ，より近距離にある立体対象について画像ボケのない画像を構成することが可能である。前記係数ｒを約０．１とすることは，画像ボケのない立体対象の画像が得られる条件として実験的に得られたものである。
また，第２の発明は，複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮影し，前記複数の縮小像から前記立体対象の画像を構成する立体画像構成方法において，前記マイクロレンズアレイの正面方向における下記（Ｘ４）式及び（Ｘ５）式をそれぞれ満たす前面側距離ｂfから背面側距離ｂbまでの範囲内に前記立体対象が配置された状態で前記複眼式カメラによる撮影で得られた前記複数の縮小像について，下記（Ｘ６）式により求まる設定距離ｂrを前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める第２のシフト量算出工程と，前記第２のシフト量算出工程で得られた前記シフト量に基づいて前記複数の縮小像を同一領域上に配置して単一の前記立体対象の画像を構成する第２の縮小像配置工程と，を有してなることを特徴とする立体画像構成方法である。
但し，ｄ及びｆは前記マイクロレンズ各々の口径及び焦点距離，Ｎは前記マイクロレンズの一次元方向の配列数，νは前記受光素子上の前記縮小像各々の一次元方向の画素数，ｒはその値が約０．１である係数，ｙは各式で共通の所定のパラメータを表す。
このような方法によっても，前記第１の発明と同様の作用効果を奏する。
このような方法によっても，前記第１の発明と同様の作用効果を奏する。
また，第３の発明は，複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮像し，前記複数の縮小像から前記立体対象の画像を構成する立体画像構成方法において，前記複眼式カメラによる前記立体対象の撮影により得られた前記複数の縮小像について，所定の複数の設定距離ごとに該設定距離が前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める第３のシフト量算出工程と，前記第３のシフト量算出工程で得られた前記シフト量に基づいて前記複数の縮小像を同一領域上に配置して前記設定距離ごとに単一の前記立体対象の画像を構成する第３の縮小像配置工程と，前記第３の縮小像配置工程により得られた各構成画像の各全領域が区分された複数の要素領域の画像から，前記各構成画像間で対応する前記要素領域ごとに画像ボケのない或いは画像ボケの小さい前記要素領域の画像を選択する第１の要素領域画像選択工程と，前記第１の要素領域画像選択工程により選択された前記要素領域の画像を組み合わせて単一の前記立体対象の画像を構成する画像組合せ工程と，を有してなることを特徴とする立体画像構成方法である。
この方法によれば，１回の撮像によって得た前記複数の縮小像に対し，前記立体対象までの距離を仮定した複数の前記設定距離ごとに立体画像が構成され，その複数の構成画像から，前記要素領域ごとに画像ボケのない（或いは小さい）前記要素領域の画像が選択されて組み合わされ，全領域について画像ボケのない（或いは小さい）立体画像を得ることができる。従って，前記立体対象までの距離を任意に設定できない場合や，前記立体対象の奥行き方向の厚みが１つの前記設定距離を用いたシフト量計算に基づいて構成される前記構成画像に画像ボケが生じない最大奥行き長さを超えている場合であっても，全領域について画像ボケのない（或いは小さい）立体画像を得ることができる。
しかも，前記マイクロレンズの口径及び焦点距離はごく小さいので，単眼式カメラを用いる場合に比べ，より近距離にある立体対象について画像ボケのない画像を得ることが可能である。
この場合，前記設定距離ｂr(i)（i=1,2,…,n）を下記（Ｘ７）式により求まる距離又は下記（Ｘ７）式により求まる距離よりも設定間隔が狭い距離に設定することが好適である。
但し，ｂf(1)は所定の初期値，ｒはその値が約０．１である係数とする。
この（Ｘ７）式は，前記設定距離をｂr(i)としたときに画像ボケが生じない前記立体対象の最背面までの距離ｂb(i)と，前記設定距離をｂr(i+1)としたときに画像ボケが生じない前記立体対象の最前面までの距離ｂf(i+1)とが一致する（ｂb(i)＝ｂf(i+1)）ように前記設定距離ｂr(i)を求めるものである。
従って，（Ｘ７）式に従って前記設定距離ｂr(i)を設定すれば，前記第３の縮小像配置工程における前記縮小像の配置処理の回数（＝一定奥行き長さに対する前記設定距離の数ｎ）を最も少ない回数にしながら，かつ前記第１の要素領域画像選択工程において確実に画像ボケのない（或いは小さい）前記要素領域ごとの画像を選択することができる。
もちろん，前記設定距離を（Ｘ７）式により求まる距離よりも設定間隔が狭い距離に設定すれば前記第１の要素領域画像選択工程において確実に画像ボケのない（或いは小さい）前記要素領域ごとの画像を選択することができる。但しこの場合，奥行き方向の一定長さに対して前記第３の縮小像配置工程における前記縮小像の配置処理の回数（＝ｎ）が増えるので，その分演算負荷が増大する。
この方法によれば，１回の撮像によって得た前記複数の縮小像に対し，前記立体対象までの距離を仮定した複数の前記設定距離ごとに立体画像が構成され，その複数の構成画像から，前記要素領域ごとに画像ボケのない（或いは小さい）前記要素領域の画像が選択されて組み合わされ，全領域について画像ボケのない（或いは小さい）立体画像を得ることができる。従って，前記立体対象までの距離を任意に設定できない場合や，前記立体対象の奥行き方向の厚みが１つの前記設定距離を用いたシフト量計算に基づいて構成される前記構成画像に画像ボケが生じない最大奥行き長さを超えている場合であっても，全領域について画像ボケのない（或いは小さい）立体画像を得ることができる。
しかも，前記マイクロレンズの口径及び焦点距離はごく小さいので，単眼式カメラを用いる場合に比べ，より近距離にある立体対象について画像ボケのない画像を得ることが可能である。
この場合，前記設定距離ｂr(i)（i=1,2,…,n）を下記（Ｘ７）式により求まる距離又は下記（Ｘ７）式により求まる距離よりも設定間隔が狭い距離に設定することが好適である。
この（Ｘ７）式は，前記設定距離をｂr(i)としたときに画像ボケが生じない前記立体対象の最背面までの距離ｂb(i)と，前記設定距離をｂr(i+1)としたときに画像ボケが生じない前記立体対象の最前面までの距離ｂf(i+1)とが一致する（ｂb(i)＝ｂf(i+1)）ように前記設定距離ｂr(i)を求めるものである。
従って，（Ｘ７）式に従って前記設定距離ｂr(i)を設定すれば，前記第３の縮小像配置工程における前記縮小像の配置処理の回数（＝一定奥行き長さに対する前記設定距離の数ｎ）を最も少ない回数にしながら，かつ前記第１の要素領域画像選択工程において確実に画像ボケのない（或いは小さい）前記要素領域ごとの画像を選択することができる。
もちろん，前記設定距離を（Ｘ７）式により求まる距離よりも設定間隔が狭い距離に設定すれば前記第１の要素領域画像選択工程において確実に画像ボケのない（或いは小さい）前記要素領域ごとの画像を選択することができる。但しこの場合，奥行き方向の一定長さに対して前記第３の縮小像配置工程における前記縮小像の配置処理の回数（＝ｎ）が増えるので，その分演算負荷が増大する。
また，第４の発明は，複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮影し，前記複数の縮小像から構成した前記立体対象の画像に基づいて前記マイクロレンズアレイから前記立体対象の各部位までの距離を求める立体対象の距離導出方法であって，前記複眼式カメラによる前記立体対象の撮影により得られた前記複数の縮小像について，所定の複数の設定距離ごとに該設定距離が前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める第３のシフト量算出工程と，前記第３のシフト量算出工程で得られた前記シフト量に基づいて前記複数の縮小像を同一領域上に配置して前記設定距離ごとに単一の前記立体対象の画像を構成する第３の縮小像配置工程と，前記第３の縮小像配置工程により得られた各構成画像の各全領域が区分された複数の要素領域の画像から，前記各構成画像間で対応する前記要素領域ごとに画像ボケの有無又は画像ボケの程度に関する画像ボケ情報を求める画像ボケ情報導出工程と，前記画像ボケ情報導出工程で得られた前記画像ボケ情報及びそれに対応する前記設定距離に基づいて前記要素領域それぞれに対応する前記立体対象の各部位についての前記マイクロレンズアレイからの距離を求める距離導出工程と，を有してなることを特徴とする立体対象の距離導出方法である。
例えば，前記距離導出工程が，前記画像ボケ情報導出工程により得られた前記画像ボケ情報に基づいて前記各構成画像間で対応する前記要素領域ごとに画像ボケのない或いは画像ボケの小さい前記要素領域の画像を選択する第２の要素領域画像選択工程を有し，該第２の要素領域画像選択工程で選択された前記要素領域の画像に対応する前記設定距離に基づいて前記要素領域それぞれに対応する前記立体対象の各部位についての前記マイクロレンズアレイからの距離を求めてなるもの等である。
この方法によれば，１回の撮像によって得た前記複数の縮小像に対し，前記立体対象までの距離を仮定した複数の前記設定距離ごとに立体画像が構成され，その複数の構成画像から，前記要素領域ごとに前記画像ボケ情報を得ることができる。ここで，前記画像ボケ情報から，画像ボケがない（或いは小さい）と判別された前記要素領域に対応する前記立体対象の部位は，その要素領域の画像に対応する前記設定距離（即ち，その要素領域の画像が得られたときの前記設定距離）の前後の所定範囲内に入っていることになる。
従って，画像ボケがない（或いは小さい）若しくは画像ボケの程度が最も小さいと判別された前記要素領域の画像について，例えばその画像に対応する前記設定距離をその要素領域に対応する前記立体対象の部位の距離として求めれば，そのときの設定距離の前後の画像ボケが生じない範囲を最大誤差範囲として前記立体対象の各部位の距離を求めることができる。
その他にも，例えば前記要素領域ごとに，画像ボケがない（或いは小さい）ものとして選択された前記要素領域の画像が複数ある場合に，それらに対応する複数の前記設定距離について，最大値，最小値若しくは平均値を求める，又は最小の前記設定距離と最大の前記設定距離とを所定の重み付けでの加重平均値を求める（単純平均を含む）ことにより得られた値（距離）を前記立体対象の各部位の距離とすること等も考えられる。
例えば，前記距離導出工程が，前記画像ボケ情報導出工程により得られた前記画像ボケ情報に基づいて前記各構成画像間で対応する前記要素領域ごとに画像ボケのない或いは画像ボケの小さい前記要素領域の画像を選択する第２の要素領域画像選択工程を有し，該第２の要素領域画像選択工程で選択された前記要素領域の画像に対応する前記設定距離に基づいて前記要素領域それぞれに対応する前記立体対象の各部位についての前記マイクロレンズアレイからの距離を求めてなるもの等である。
この方法によれば，１回の撮像によって得た前記複数の縮小像に対し，前記立体対象までの距離を仮定した複数の前記設定距離ごとに立体画像が構成され，その複数の構成画像から，前記要素領域ごとに前記画像ボケ情報を得ることができる。ここで，前記画像ボケ情報から，画像ボケがない（或いは小さい）と判別された前記要素領域に対応する前記立体対象の部位は，その要素領域の画像に対応する前記設定距離（即ち，その要素領域の画像が得られたときの前記設定距離）の前後の所定範囲内に入っていることになる。
従って，画像ボケがない（或いは小さい）若しくは画像ボケの程度が最も小さいと判別された前記要素領域の画像について，例えばその画像に対応する前記設定距離をその要素領域に対応する前記立体対象の部位の距離として求めれば，そのときの設定距離の前後の画像ボケが生じない範囲を最大誤差範囲として前記立体対象の各部位の距離を求めることができる。
その他にも，例えば前記要素領域ごとに，画像ボケがない（或いは小さい）ものとして選択された前記要素領域の画像が複数ある場合に，それらに対応する複数の前記設定距離について，最大値，最小値若しくは平均値を求める，又は最小の前記設定距離と最大の前記設定距離とを所定の重み付けでの加重平均値を求める（単純平均を含む）ことにより得られた値（距離）を前記立体対象の各部位の距離とすること等も考えられる。
前記第１の発明によれば，撮像対象となる前記立体対象の奥行き方向の厚みが既知であり，立体対象（撮像対象）までの距離を所望の距離に設定できる場合に，複眼式カメラを用いた１回の撮像によって画像ボケのない立体対象の画像を得ることができる。しかも，単眼式カメラを用いる場合に比べ，より近距離にある立体対象について画像ボケのない画像を構成することが可能である。
また，前記第３の発明によれば，複眼式カメラを用いた１回の撮像によって得た複数の縮小像に対し，立体対象までの距離を仮定した複数の設定距離ごとに立体画像が構成され，その複数の構成画像から，前記要素領域ごとに画像ボケのない（或いは小さい）前記要素領域の画像が選択されて組み合わされ，全領域について画像ボケのない（或いは小さい）立体画像を得ることができる。従って，前記立体対象までの距離を任意に設定できない場合や，前記立体対象の奥行き方向の厚みが１つの前記設定距離を用いたシフト量計算に基づいて構成される前記構成画像に画像ボケが生じない最大奥行き長さを超えている場合であっても，全領域について画像ボケのない（或いは小さい）立体画像を得ることができる。
しかも，前記マイクロレンズの口径及び焦点距離はごく小さいので，単眼式カメラを用いる場合に比べ，より近距離にある立体対象について画像ボケのない画像を得ることが可能である。
さらにこの場合，前記（Ｘ７）式に従って前記設定距離ｂr(i)を設定すれば，前記第３の縮小像配置工程における前記縮小像の配置処理の回数（＝一定奥行き長さに対する前記設定距離の数ｎ）を最も少ない回数にしながら，かつ前記第１の要素領域画像選択工程において確実に画像ボケのない（或いは小さい）前記要素領域ごとの画像を選択することができる。また，前記設定距離を（Ｘ７）式により求まる距離よりも設定間隔が狭い距離に設定すれば前記第１の要素領域画像選択工程において確実に画像ボケのない（或いは小さい）前記要素領域ごとの画像を選択することができる。
また，前記第４の発明によれば，１回の撮像によって得た前記複数の縮小像に対し，前記立体対象までの距離を仮定した複数の前記設定距離ごとに立体画像が構成され，その複数の構成画像から，前記要素領域ごとに前記画像ボケ情報を得ることができ，この画像ボケ情報から，前記設定距離の前後の画像ボケが生じない範囲を最大誤差範囲として前記立体対象の各部位の距離（立体情報）を求めることができる。
また，前記第３の発明によれば，複眼式カメラを用いた１回の撮像によって得た複数の縮小像に対し，立体対象までの距離を仮定した複数の設定距離ごとに立体画像が構成され，その複数の構成画像から，前記要素領域ごとに画像ボケのない（或いは小さい）前記要素領域の画像が選択されて組み合わされ，全領域について画像ボケのない（或いは小さい）立体画像を得ることができる。従って，前記立体対象までの距離を任意に設定できない場合や，前記立体対象の奥行き方向の厚みが１つの前記設定距離を用いたシフト量計算に基づいて構成される前記構成画像に画像ボケが生じない最大奥行き長さを超えている場合であっても，全領域について画像ボケのない（或いは小さい）立体画像を得ることができる。
しかも，前記マイクロレンズの口径及び焦点距離はごく小さいので，単眼式カメラを用いる場合に比べ，より近距離にある立体対象について画像ボケのない画像を得ることが可能である。
さらにこの場合，前記（Ｘ７）式に従って前記設定距離ｂr(i)を設定すれば，前記第３の縮小像配置工程における前記縮小像の配置処理の回数（＝一定奥行き長さに対する前記設定距離の数ｎ）を最も少ない回数にしながら，かつ前記第１の要素領域画像選択工程において確実に画像ボケのない（或いは小さい）前記要素領域ごとの画像を選択することができる。また，前記設定距離を（Ｘ７）式により求まる距離よりも設定間隔が狭い距離に設定すれば前記第１の要素領域画像選択工程において確実に画像ボケのない（或いは小さい）前記要素領域ごとの画像を選択することができる。
また，前記第４の発明によれば，１回の撮像によって得た前記複数の縮小像に対し，前記立体対象までの距離を仮定した複数の前記設定距離ごとに立体画像が構成され，その複数の構成画像から，前記要素領域ごとに前記画像ボケ情報を得ることができ，この画像ボケ情報から，前記設定距離の前後の画像ボケが生じない範囲を最大誤差範囲として前記立体対象の各部位の距離（立体情報）を求めることができる。
以下添付図面を参照しながら，本発明の実施の形態について説明し，本発明の理解に供する。尚，以下の実施の形態は，本発明を具体化した一例であって，本発明の技術的範囲を限定する性格のものではない。
ここに，図１は第１の発明に係る立体画像構成方法の手順の一例を表すフローチャート，図２は複眼式カメラでの撮影により得られる縮小像の一例，図３は立体対象の面までの距離と構成画像の生成に用いる設定距離とが異なる場合の複眼式カメラによる観察領域を模式的に表した図，図４は第１の発明に係る立体画像構成方法における設定距離と立体対象の厚みとの関係を表すグラフの一例，図５は前記複眼式カメラにおけるマイクロレンズ間の視差について模式的に表した図，図６は複数の縮小像を同一領域上に配置する様子を模式的に表した図，図７は第１の発明に係る立体画像構成方法により得られた立体画像の一例，図８は第３の発明に係る立体画像構成方法の手順の一例を表すフローチャート，図９は第３の発明に係る立体画像構成方法における構成画像の区分について模式的に表した図，図１０は第４の発明に係る立体対象の距離導出方法の手順の一例を表すフローチャート，図１１は単眼式カメラの光学系と複眼式カメラの光学系の模式図，図１２は被写界深度を説明するための図である。
以下，本発明の実施の形態に係る立体画像構成方法及び立体対象の距離導出方法の手順について工程を追って説明するが，各工程で示される式の計算や画像の配置（画像データのメモリ領域への配置）等の処理は，所定のプログラムをコンピュータで実行し，処理結果をハードディスク等の記憶手段に記憶させながら実行するものである。
ここに，図１は第１の発明に係る立体画像構成方法の手順の一例を表すフローチャート，図２は複眼式カメラでの撮影により得られる縮小像の一例，図３は立体対象の面までの距離と構成画像の生成に用いる設定距離とが異なる場合の複眼式カメラによる観察領域を模式的に表した図，図４は第１の発明に係る立体画像構成方法における設定距離と立体対象の厚みとの関係を表すグラフの一例，図５は前記複眼式カメラにおけるマイクロレンズ間の視差について模式的に表した図，図６は複数の縮小像を同一領域上に配置する様子を模式的に表した図，図７は第１の発明に係る立体画像構成方法により得られた立体画像の一例，図８は第３の発明に係る立体画像構成方法の手順の一例を表すフローチャート，図９は第３の発明に係る立体画像構成方法における構成画像の区分について模式的に表した図，図１０は第４の発明に係る立体対象の距離導出方法の手順の一例を表すフローチャート，図１１は単眼式カメラの光学系と複眼式カメラの光学系の模式図，図１２は被写界深度を説明するための図である。
以下，本発明の実施の形態に係る立体画像構成方法及び立体対象の距離導出方法の手順について工程を追って説明するが，各工程で示される式の計算や画像の配置（画像データのメモリ領域への配置）等の処理は，所定のプログラムをコンピュータで実行し，処理結果をハードディスク等の記憶手段に記憶させながら実行するものである。
（第１の発明）
まず，図１のフローチャートを用いて，前記第１の発明に係る立体画像構成方法の手順の一例について説明する。以下Ｓ１，Ｓ２，，は処理手順（ステップ）の番号を示す。
＜Ｓ１：撮影工程＞
まず，所定の撮影条件Ｘの下で，複数のマイクロレンズ（図１１に示す前記マイクロレンズ８０）が配列されたマイクロレンズアレイを通じて受光素子（図１１に示す前記受光素子８１）上に複数の縮小像を結像する複眼式カメラにより，撮影対象である立体対象（三次元物体）を撮影する（Ｓ１）。
前記撮影条件Ｘは，前記マイクロレンズアレイの正面方向における下記（Ｘ１）式を満たす前面側距離ｂfから下記（Ｘ２）式により求まる背面側距離ｂbまでの範囲内に前記立体対象が配置された状態で前記複眼式カメラによる撮影を行う。
但し，Ｄは前記マイクロレンズアレイ側から見た前記立体対象の奥行き方向の厚み，ｄ及びｆは前記マイクロレンズ各々の口径及び焦点距離，Ｎは前記マイクロレンズの一次元方向の配列数，νは前記受光素子上の前記縮小像各々の一次元方向の画素数，ｒはその値が約０．１である係数を表す。
これにより，前記マイクロレンズアレイを通じて前記受光素子上に結像される複数の縮小像（物体縮小像）が得られる。本撮影により得られた前記複数の縮小像のデータは，前記複眼式カメラから所定のコンピュータに転送され，該コンピュータの記憶手段に記憶される。
図２（ａ）は，前記マイクロレンズが１１×１１（縦×横）個配列されたマイクロレンズアレイを備えた前記複眼式カメラにより，平面物体である「Ａ」という文字盤を撮影した場合に，前記受光素子上に結像され，画像情報に変換された前記複数の縮小像（１２１個の縮小像）の一例を表し，図２（ｂ）は，前記縮小像単体の一例を表す。図２では，便宜上，平面物体の像を示したが，立体対象（三次元物体）を撮影した場合であっても同様である。図２（ｂ）に示すように，前記縮小像それぞれは，解像度の低い粗い画像である。
まず，図１のフローチャートを用いて，前記第１の発明に係る立体画像構成方法の手順の一例について説明する。以下Ｓ１，Ｓ２，，は処理手順（ステップ）の番号を示す。
＜Ｓ１：撮影工程＞
まず，所定の撮影条件Ｘの下で，複数のマイクロレンズ（図１１に示す前記マイクロレンズ８０）が配列されたマイクロレンズアレイを通じて受光素子（図１１に示す前記受光素子８１）上に複数の縮小像を結像する複眼式カメラにより，撮影対象である立体対象（三次元物体）を撮影する（Ｓ１）。
前記撮影条件Ｘは，前記マイクロレンズアレイの正面方向における下記（Ｘ１）式を満たす前面側距離ｂfから下記（Ｘ２）式により求まる背面側距離ｂbまでの範囲内に前記立体対象が配置された状態で前記複眼式カメラによる撮影を行う。
これにより，前記マイクロレンズアレイを通じて前記受光素子上に結像される複数の縮小像（物体縮小像）が得られる。本撮影により得られた前記複数の縮小像のデータは，前記複眼式カメラから所定のコンピュータに転送され，該コンピュータの記憶手段に記憶される。
図２（ａ）は，前記マイクロレンズが１１×１１（縦×横）個配列されたマイクロレンズアレイを備えた前記複眼式カメラにより，平面物体である「Ａ」という文字盤を撮影した場合に，前記受光素子上に結像され，画像情報に変換された前記複数の縮小像（１２１個の縮小像）の一例を表し，図２（ｂ）は，前記縮小像単体の一例を表す。図２では，便宜上，平面物体の像を示したが，立体対象（三次元物体）を撮影した場合であっても同様である。図２（ｂ）に示すように，前記縮小像それぞれは，解像度の低い粗い画像である。
ここで，（Ｘ１）式及び（Ｘ２）式の導出過程について説明する。
立体対象を複眼式カメラで撮影して得られた前記複数の縮小像から，高精細の画像を得るためには，後述するように前記複数の縮小像相互間の相対位置のずれ（シフト量）を補正（シフト）しながら同一領域に配置（再配置）する必要がある。以下，このように前記複数の縮小像をシフトして同一領域に配置して得られる画像を構成画像という。ここで，各縮小像のシフト量は，後述するように前記マイクロレンズアレイから前記立体対象の面までの距離を与える（以下，この距離を設定距離という）ことによって求めることができるが，前記設定距離と前記立体対象の面までの実際の距離とに差がある場合には，前記構成画像に画像ボケが生じてしまう。
立体対象を複眼式カメラで撮影して得られた前記複数の縮小像から，高精細の画像を得るためには，後述するように前記複数の縮小像相互間の相対位置のずれ（シフト量）を補正（シフト）しながら同一領域に配置（再配置）する必要がある。以下，このように前記複数の縮小像をシフトして同一領域に配置して得られる画像を構成画像という。ここで，各縮小像のシフト量は，後述するように前記マイクロレンズアレイから前記立体対象の面までの距離を与える（以下，この距離を設定距離という）ことによって求めることができるが，前記設定距離と前記立体対象の面までの実際の距離とに差がある場合には，前記構成画像に画像ボケが生じてしまう。
図３は，撮像対象である立体対象の最前面（以下，物体最前面という）までの距離ｂfと前記構成画像の生成に用いる前記設定距離ｂrとが異なる場合の前記複眼式カメラによる観察領域を模式的に表したものである。説明の簡単化のため，図３では１次元で説明する。
図３において，前記マイクロレンズ各々の口径をｄ，焦点距離をｆ，前記最前面までの距離をｂfとすると，物体縮小光学系の焦点距離と倍率の関係により，前記物体最前面の観察領域の１次元方向の長さは，ｂf×ｄ／ｆとなる（図のＷ１の領域）。物体縮小光学系では，この領域Ｗ１の画像情報として，複数の画素情報が前記受光素子上の前記ｄの幅内で等間隔に観察される。
また，前記マイクロレンズアレイの１次元方向のアレイ数（前記マイクロレンズの個数）をＮ（図３ではＮ＝３）とおくと，各マイクロレンズの視差量から，前記複眼式カメラ（複眼光学系）による距離ｂfの位置における全観察領域（図中，長方形で囲まれている領域Ｗ０）の１次元方向の長さは，ｄ×（Ｎ−１）＋ｂf×ｄ／ｆとなる。この全観察領域Ｗ０は，前記物体最前面までの距離によって異なるため，前記物体最前面までの距離ｂfと，前記構成画像を生成する際に用いる前記設定距離ｂrとに差がある場合，前記構成画像と実際の前記物体面の像とに差が生じる。
例えば，図３に示すように前記設定距離ｂrが前記物体最前面までの距離ｂfよりも大きい場合，前記構成画像の全領域に対応する構成面（前記設定距離ｂrに位置する面）の全観察領域（図中，長方形で囲まれている領域Ｗｒ）の長さは，前記物体最前面での全観察領域Ｗ０よりも広い範囲となる。このため，図３における１つの前記マイクロレンズにより観察される領域の最も端の点である前記物体最前面の黒丸の点Ｐｂは，前記構成面の全観察領域Ｗｒ上において，正しくは白抜きの一重丸の点Ｐｗ上に投影されるべきであるのにもかかわらず，二重丸の点Ｐｇ上にあるかのように構成される。この２点Ｐｇ，Ｐｗの距離（ずれ）が大きい場合，前記構成画像に格子状のノイズ（画像ボケの一例）が発生してしまう。そして，前記構成面と実際の前記物体面とのずれ（以下，位置ずれという）は，前記マイクロレンズそれぞれにより観察される領域の最も端の点（前記点Ｐｂ，Ｐｇに相当）に対応する画素で最も顕著となる。
図３において，前記マイクロレンズ各々の口径をｄ，焦点距離をｆ，前記最前面までの距離をｂfとすると，物体縮小光学系の焦点距離と倍率の関係により，前記物体最前面の観察領域の１次元方向の長さは，ｂf×ｄ／ｆとなる（図のＷ１の領域）。物体縮小光学系では，この領域Ｗ１の画像情報として，複数の画素情報が前記受光素子上の前記ｄの幅内で等間隔に観察される。
また，前記マイクロレンズアレイの１次元方向のアレイ数（前記マイクロレンズの個数）をＮ（図３ではＮ＝３）とおくと，各マイクロレンズの視差量から，前記複眼式カメラ（複眼光学系）による距離ｂfの位置における全観察領域（図中，長方形で囲まれている領域Ｗ０）の１次元方向の長さは，ｄ×（Ｎ−１）＋ｂf×ｄ／ｆとなる。この全観察領域Ｗ０は，前記物体最前面までの距離によって異なるため，前記物体最前面までの距離ｂfと，前記構成画像を生成する際に用いる前記設定距離ｂrとに差がある場合，前記構成画像と実際の前記物体面の像とに差が生じる。
例えば，図３に示すように前記設定距離ｂrが前記物体最前面までの距離ｂfよりも大きい場合，前記構成画像の全領域に対応する構成面（前記設定距離ｂrに位置する面）の全観察領域（図中，長方形で囲まれている領域Ｗｒ）の長さは，前記物体最前面での全観察領域Ｗ０よりも広い範囲となる。このため，図３における１つの前記マイクロレンズにより観察される領域の最も端の点である前記物体最前面の黒丸の点Ｐｂは，前記構成面の全観察領域Ｗｒ上において，正しくは白抜きの一重丸の点Ｐｗ上に投影されるべきであるのにもかかわらず，二重丸の点Ｐｇ上にあるかのように構成される。この２点Ｐｇ，Ｐｗの距離（ずれ）が大きい場合，前記構成画像に格子状のノイズ（画像ボケの一例）が発生してしまう。そして，前記構成面と実際の前記物体面とのずれ（以下，位置ずれという）は，前記マイクロレンズそれぞれにより観察される領域の最も端の点（前記点Ｐｂ，Ｐｇに相当）に対応する画素で最も顕著となる。
以下，前記位置ずれを前記縮小像における各画素の観察領域から解析する。
前記マイクロレンズ各々の口径及び焦点距離をｄ及びｆ，前記受光素子上における前記縮小像各々の一次元方向の画素数をν（前記受光素子における前記マイクロレンズの口径と同じ幅ｄ当たりの画素数），前記マイクロレンズの一次元方向の配列数をＮ，前記構成面の全観察領域Ｗｒの一方の端点（図３では左端）の座標を０とすると，前記構成面の全観察領域Ｗｒの他方の端点（図３では右端）の座標は（ν＋Ｎ−１）とおくことができ，前記構成面上の点Ｐｇの座標ｙ（即ち，前記位置ずれの最も顕著な点の座標）は，次の（４）式で表される。
この（４）式は，次の（５）式のように変形できる。
ここで，前記立体対象の面までの距離が，前記構成画像を生成する際に用いる前記設定距離ｂrと異なる場合であっても，座標ｙの方向において１画素の大きさに対する所定比ｒ（０＜ｒ＜１，以下，ｒを許容係数という）の差（ずれ）以内に収まる場合は，得られる画素情報にほとんど差がなく，画像ボケが認識されない（画像ボケがない，或いは小さい）許容範囲であるとする。
このとき，前記設定距離ｂrを用いて前記構成画像を生成する際に，画像ボケが認識されない最も前面側（最も前記マイクロレンズアレイに近い側）の距離である前面側距離ｂfと，同じく画像ボケが認識されない最も最背面側（最も前記マイクロレンズアレイから遠い側）の距離である背面側距離ｂbとは，前記（５）式のｙにそれぞれ（ｙ＋ｒ），（ｙ−ｒ）を代入して得られる次の（６）式及び（７）式で表される。
従って，（６）式及び（７）式を満たす撮影条件で得られた前記複数の縮小像について，（５）式で求まる前記設定距離ｂrを用いて前記構成画像の生成を行えば，画像ボケのない前記構成画像を得ることができる。ここで，ｙは（５）式〜（７）式で共通のパラメータとして捉えることができる。
前記マイクロレンズ各々の口径及び焦点距離をｄ及びｆ，前記受光素子上における前記縮小像各々の一次元方向の画素数をν（前記受光素子における前記マイクロレンズの口径と同じ幅ｄ当たりの画素数），前記マイクロレンズの一次元方向の配列数をＮ，前記構成面の全観察領域Ｗｒの一方の端点（図３では左端）の座標を０とすると，前記構成面の全観察領域Ｗｒの他方の端点（図３では右端）の座標は（ν＋Ｎ−１）とおくことができ，前記構成面上の点Ｐｇの座標ｙ（即ち，前記位置ずれの最も顕著な点の座標）は，次の（４）式で表される。
このとき，前記設定距離ｂrを用いて前記構成画像を生成する際に，画像ボケが認識されない最も前面側（最も前記マイクロレンズアレイに近い側）の距離である前面側距離ｂfと，同じく画像ボケが認識されない最も最背面側（最も前記マイクロレンズアレイから遠い側）の距離である背面側距離ｂbとは，前記（５）式のｙにそれぞれ（ｙ＋ｒ），（ｙ−ｒ）を代入して得られる次の（６）式及び（７）式で表される。
前記（５）〜（７）式において，ｂf，ｂb，ｂrを変数と捉えた場合，これら変数のいずれかが与えられると（既知であると），パラメータｙの値が求まるので，そのｙの値を前記（５）〜（７）式のいずれかに代入することによって残りの変数が求まる。
例えば，画像ボケのない画像を取得したい前記立体対象の奥行き方向（前記マイクロレンズアレイから見た奥行き方向）の厚みＤが与えられ，前記前面側距離ｂfを任意に設定できる場合を考える。ここでの厚みＤは，前記立体対象として設置する物体の実際の奥行き方向の厚みを意味するのではなく，前記複眼式カメラによって撮像可能な部分（前記複眼式カメラ側から見える部分）についての奥行き方向の厚みを意味する。
この場合，画像ボケのない前記構成画像を得るためには，Ｄ≦ｂb−ｂfである必要がある。ここで，Ｄ≦ｂb−ｂfとして前記（６）式及び（７）式を整理すると，次の（８）式を導くことができる。
この（８）式を（５）式に代入すると，前記前面側距離ｂfが満たすべき条件式として前記（Ｘ１）式が得られる。
一方，前記（Ｘ１）式を満たす前記前面側距離ｂfが決まれば，前記（５）式及び（７）式それぞれに，前記（６）式を「ｙ＝」の形に変形して代入することにより，前記設定距離ｂr及び前記背面側距離ｂbを求めることができる。
このようにして前記（６）式を前記（７）式に代入した式が前記（Ｘ２）式である。
従って，前記（Ｘ１）式を満たす前面側距離ｂfから前記（Ｘ２）式により求まる背面側距離ｂbまでの範囲内に前記立体対象が配置された前記撮影条件Ｘの下で前記複眼式カメラにより撮影を行い，それにより得られた前記複数の縮小像について，「ｙ＝」の形に変形した前記（６）式を前記（５）式に代入した式（後述する（Ｘ３）式）で求まる前記設定距離ｂｒを用いた前記構成画像の生成を行えば，画像ボケのない前記構成画像を得ることができる。
例えば，画像ボケのない画像を取得したい前記立体対象の奥行き方向（前記マイクロレンズアレイから見た奥行き方向）の厚みＤが与えられ，前記前面側距離ｂfを任意に設定できる場合を考える。ここでの厚みＤは，前記立体対象として設置する物体の実際の奥行き方向の厚みを意味するのではなく，前記複眼式カメラによって撮像可能な部分（前記複眼式カメラ側から見える部分）についての奥行き方向の厚みを意味する。
この場合，画像ボケのない前記構成画像を得るためには，Ｄ≦ｂb−ｂfである必要がある。ここで，Ｄ≦ｂb−ｂfとして前記（６）式及び（７）式を整理すると，次の（８）式を導くことができる。
一方，前記（Ｘ１）式を満たす前記前面側距離ｂfが決まれば，前記（５）式及び（７）式それぞれに，前記（６）式を「ｙ＝」の形に変形して代入することにより，前記設定距離ｂr及び前記背面側距離ｂbを求めることができる。
このようにして前記（６）式を前記（７）式に代入した式が前記（Ｘ２）式である。
従って，前記（Ｘ１）式を満たす前面側距離ｂfから前記（Ｘ２）式により求まる背面側距離ｂbまでの範囲内に前記立体対象が配置された前記撮影条件Ｘの下で前記複眼式カメラにより撮影を行い，それにより得られた前記複数の縮小像について，「ｙ＝」の形に変形した前記（６）式を前記（５）式に代入した式（後述する（Ｘ３）式）で求まる前記設定距離ｂｒを用いた前記構成画像の生成を行えば，画像ボケのない前記構成画像を得ることができる。
図４は，奥行き方向の厚みＤの前記立体対象の最前面を前記前面側距離ｂfのうち最も小さい距離（前記（Ｘ１）式における左辺＝右辺としたときの前記前面側距離ｂf）に配置した場合における，その前面側距離ｂfと前記厚みＤとの関係を表すグラフの一例である。図４では，ｆ＝１．３ｍｍ，ｄ＝０．５ｍｍ，Ｎ＝５，ν＝８０としており，これらの値は，現状の前記複眼式カメラを構成するデバイス技術で十分構築できる値である。なお，ｒ＝０．１である。
図４より，前記前面側距離ｂfが４００ｍｍの位置において，画像ボケの生じない奥行き方向の厚みＤが約７５ｍｍであることから，例えば，セキュリティ分野において人の顔の形状認識を行うような場合でも，凹凸のある顔の立体画像を十分に画像ボケなく構成することができることを示している。
図４より，前記前面側距離ｂfが４００ｍｍの位置において，画像ボケの生じない奥行き方向の厚みＤが約７５ｍｍであることから，例えば，セキュリティ分野において人の顔の形状認識を行うような場合でも，凹凸のある顔の立体画像を十分に画像ボケなく構成することができることを示している。
＜Ｓ２：第１のシフト量算出工程＞
次に，前記撮影条件Ｘの下で前記複眼式カメラを用いた撮影により得られた前記複数の縮小像について，前記（Ｘ３）式により求まる設定距離ｂrを前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める（Ｓ２）。本工程の処理も，前記コンピュータが所定のプログラムを実行することにより行われ，処理結果（前記シフト量）が前記記憶手段に記憶される。ここで，（Ｘ３）式は，「ｙ＝」の形に変形した前記（６）式を前記（５）式に代入した式である。従って，前記撮影条件Ｘの下で得られた前記複数の縮小像について，（Ｘ３）式により求まる前記設定距離ｂrを用いれば，画像ボケのない前記構成画像を得ることができる。
ところで，図５は，前記複眼式カメラにおける前記マイクロレンズ間の視差について模式的に表した図である。
図５に示すように，距離ｂだけ離れた物体を観察する場合，１つの前記マイクロレンズによる観察領域の幅Ｗ１は，前記マイクロレンズの倍率を考慮するとｄｂ／ｆとなる。また，隣り合う前記マイクロレンズの観察領域相互間には，視差によりｄ（＝前記マイクロレンズの口径）の相対位置のずれが生じる。この物体面での視差によるずれｄは，前記縮小像においてｆ／ｂ倍に縮小される。
この第１のシフト量算出工程では，前記（Ｘ３）式により求めた前記設定距離ｂfを前記マイクロレンズアレイから前記立体対象までの距離であるとして隣合う前記縮小像間における相対位置のずれを求める。そうすると，（ｄｆ／ｂf）が隣合う前記縮小像間における相対位置のずれとなる。
さらに，前記相対値のずれの量に基づいて，前記複数の縮小像を所定の同一領域（２次元領域）に配置する際に，前記複数の縮小像を構成する各画素を，前記同一領域上で前記物体面上の位置に対応する位置（画素）に配置（座標変換）する補正量として前記縮小像ごとに各画素のシフト量を求める。ここでは，いずれかの前記縮小像（例えば，中央の位置の前記縮小像）を基準とし，この基準縮小像に対する他の縮小像の前記相対位置のずれを補正する前記シフト量を，各縮小像ごとに各画素の２次元方向それぞれについて求める。
次に，前記撮影条件Ｘの下で前記複眼式カメラを用いた撮影により得られた前記複数の縮小像について，前記（Ｘ３）式により求まる設定距離ｂrを前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める（Ｓ２）。本工程の処理も，前記コンピュータが所定のプログラムを実行することにより行われ，処理結果（前記シフト量）が前記記憶手段に記憶される。ここで，（Ｘ３）式は，「ｙ＝」の形に変形した前記（６）式を前記（５）式に代入した式である。従って，前記撮影条件Ｘの下で得られた前記複数の縮小像について，（Ｘ３）式により求まる前記設定距離ｂrを用いれば，画像ボケのない前記構成画像を得ることができる。
ところで，図５は，前記複眼式カメラにおける前記マイクロレンズ間の視差について模式的に表した図である。
図５に示すように，距離ｂだけ離れた物体を観察する場合，１つの前記マイクロレンズによる観察領域の幅Ｗ１は，前記マイクロレンズの倍率を考慮するとｄｂ／ｆとなる。また，隣り合う前記マイクロレンズの観察領域相互間には，視差によりｄ（＝前記マイクロレンズの口径）の相対位置のずれが生じる。この物体面での視差によるずれｄは，前記縮小像においてｆ／ｂ倍に縮小される。
この第１のシフト量算出工程では，前記（Ｘ３）式により求めた前記設定距離ｂfを前記マイクロレンズアレイから前記立体対象までの距離であるとして隣合う前記縮小像間における相対位置のずれを求める。そうすると，（ｄｆ／ｂf）が隣合う前記縮小像間における相対位置のずれとなる。
さらに，前記相対値のずれの量に基づいて，前記複数の縮小像を所定の同一領域（２次元領域）に配置する際に，前記複数の縮小像を構成する各画素を，前記同一領域上で前記物体面上の位置に対応する位置（画素）に配置（座標変換）する補正量として前記縮小像ごとに各画素のシフト量を求める。ここでは，いずれかの前記縮小像（例えば，中央の位置の前記縮小像）を基準とし，この基準縮小像に対する他の縮小像の前記相対位置のずれを補正する前記シフト量を，各縮小像ごとに各画素の２次元方向それぞれについて求める。
＜Ｓ３：第１の縮小像配置工程＞
次に，Ｓ２（前記第１のシフト量算出工程）で得られた前記シフト量に基づいて前記複数の縮小像を同一領域（所定の画像メモリ領域）上に配置して単一の前記立体対象の画像を構成する（Ｓ３）。本工程の処理も，前記コンピュータが所定のプログラムを実行することにより行われ，処理結果（前記画像メモリ領域に配置された画像データ（前記構成画像のデータ））が前記記憶手段に記憶される。
図６は，前記複数の縮小像を同一領域上に配置する様子を模式的に表したものである。図６に示すＱ０，Ｑ１，Ｑ２は，それぞれ前記受光素子上に結像された３×３の画素を持つ前記縮小像を表し，更にＭ１は単一の立体対象の画像が構成される領域であって，その画素数は前記受光素子全体と同数とする。
この縮小像の配置工程では，まずＳ２において基準とした前記縮小像（図６ではＱ０で表す）の画素を領域Ｍ１のスケールに合わせて，矢印で示すように配置する。
続いて，他の前記縮小像（図６ではＱ１，Ｑ２で表す）の画素を，Ｓ２で算出した前記シフト量に基づいて領域Ｍ１に配置する。
これにより，前記領域Ｍ１上に，前記縮小像相互間の相対位置のずれが修正（補正）されて配置された高解像度の単一の画像（前記構成画像）が構成されることになる。
この構成画像は，画像ボケが生じない範囲として実験的に確認された前記許容係数ｒ（≒０．１）を用いて，前記（Ｘ１），（Ｘ２）式に基づく前記撮影条件Ｘの下で得られた前記複数の縮小像を，前記（Ｘ３）式により求まる設定距離ｂrを前記マイクロレンズアレイから前記立体対象までの距離であるとして求めた前記シフト量に基づく前記複数の縮小像の配置により得られた構成画像であるため，該構成画像は，画像ボケのない立体画像となる。
次に，Ｓ２（前記第１のシフト量算出工程）で得られた前記シフト量に基づいて前記複数の縮小像を同一領域（所定の画像メモリ領域）上に配置して単一の前記立体対象の画像を構成する（Ｓ３）。本工程の処理も，前記コンピュータが所定のプログラムを実行することにより行われ，処理結果（前記画像メモリ領域に配置された画像データ（前記構成画像のデータ））が前記記憶手段に記憶される。
図６は，前記複数の縮小像を同一領域上に配置する様子を模式的に表したものである。図６に示すＱ０，Ｑ１，Ｑ２は，それぞれ前記受光素子上に結像された３×３の画素を持つ前記縮小像を表し，更にＭ１は単一の立体対象の画像が構成される領域であって，その画素数は前記受光素子全体と同数とする。
この縮小像の配置工程では，まずＳ２において基準とした前記縮小像（図６ではＱ０で表す）の画素を領域Ｍ１のスケールに合わせて，矢印で示すように配置する。
続いて，他の前記縮小像（図６ではＱ１，Ｑ２で表す）の画素を，Ｓ２で算出した前記シフト量に基づいて領域Ｍ１に配置する。
これにより，前記領域Ｍ１上に，前記縮小像相互間の相対位置のずれが修正（補正）されて配置された高解像度の単一の画像（前記構成画像）が構成されることになる。
この構成画像は，画像ボケが生じない範囲として実験的に確認された前記許容係数ｒ（≒０．１）を用いて，前記（Ｘ１），（Ｘ２）式に基づく前記撮影条件Ｘの下で得られた前記複数の縮小像を，前記（Ｘ３）式により求まる設定距離ｂrを前記マイクロレンズアレイから前記立体対象までの距離であるとして求めた前記シフト量に基づく前記複数の縮小像の配置により得られた構成画像であるため，該構成画像は，画像ボケのない立体画像となる。
ここで，Ｓ３により得られた前記構成画像は，前記縮小像それぞれの画素を拡大された前記同一領域Ｍ１内に配置した画像であるため，物体と前記マイクロレンズアレイとの距離によっては欠失画素を含む場合がある。
そのような場合は，その欠失画素の周辺の画素値を用いて補間すればよい。
例えば，欠失画素では水平，或いは垂直方向に対して線形的に画素値が変化すると仮定すると，欠失画素がＮdel個連続している場合，そのｉ番目の欠失画素に対して補間する画素値Ｐdel（ｉ）は次の（９）式を適用して算出可能である。
ここで，Ｐ１，Ｐ２は欠失画素に隣接する画素の画素値である。
そして，対象とする欠失画素に対して，水平及び垂直方向に（１１）式を適用し，得られた値の平均値をその欠失画素に対する画素値とする。
これにより，Ｓ３で得られた前記構成画像に含まれる欠失画素が補間され，より精細な前記構成画像（立体画像）を得ることができる。
さらに，補間後の前記構成画像に対し，さらに鮮鋭化処理を施してもよい。
例えば，周知の高域強調フィルタ等の手法を用いて高い周波数成分を強調することにより，エッジ強調を行って前記構成画像を鮮鋭化する等である。
そのような場合は，その欠失画素の周辺の画素値を用いて補間すればよい。
例えば，欠失画素では水平，或いは垂直方向に対して線形的に画素値が変化すると仮定すると，欠失画素がＮdel個連続している場合，そのｉ番目の欠失画素に対して補間する画素値Ｐdel（ｉ）は次の（９）式を適用して算出可能である。
ここで，Ｐ１，Ｐ２は欠失画素に隣接する画素の画素値である。
これにより，Ｓ３で得られた前記構成画像に含まれる欠失画素が補間され，より精細な前記構成画像（立体画像）を得ることができる。
さらに，補間後の前記構成画像に対し，さらに鮮鋭化処理を施してもよい。
例えば，周知の高域強調フィルタ等の手法を用いて高い周波数成分を強調することにより，エッジ強調を行って前記構成画像を鮮鋭化する等である。
図７は，前述したＳ１〜Ｓ３の工程を経て得られた立体画像（前記構成画像）の一例である。
前記立体対象は１００ｍｍ角のダイス（但し，ダイスの黒点は「５」の点のみ表示されている）であり，そのダイスの１つの頂点（「５」の面の角部を形成する４頂点のうちの１つ）を前記複眼式カメラにおける前記マイクロレンズアレイに対して最前面（最短距離）（その距離ｂf＝３５０ｍｍ）となるよう斜めに傾けて配置している。また，ｒ＝０．１である。これにより，前記マイクロレンズアレイ側から視認できる前記ダイスの奥行き方向の厚み（距離）は１２０ｍｍである。なお，ダイスの黒点の半径は２７ｍｍである。
図７に示すように，前記前面側距離ｂf＝３５０ｍｍという近距離において，奥行き方向の距離１２０ｍｍという深い奥行き範囲に渡って，画像ボケのない鮮明な立体画像（前記構成画像）が得られている。
以上示したように，本第１の発明によれば，撮像対象である前記立体対象の奥行き方向の厚みが既知であり，前記立体対象までの距離を所望の距離に設定できる場合に，１回の撮像によって画像ボケのない立体対象の画像を得ることができる。しかも，前記マイクロレンズの口径及び焦点距離はごく小さいので，単眼式カメラを用いる場合に比べ，より近距離にある立体対象について画像ボケのない画像を構成することが可能である。なお，前記係数ｒを約０．１とすることは，画像ボケのない立体対象の画像が得られる条件として実験的に得られたものである。
前記立体対象は１００ｍｍ角のダイス（但し，ダイスの黒点は「５」の点のみ表示されている）であり，そのダイスの１つの頂点（「５」の面の角部を形成する４頂点のうちの１つ）を前記複眼式カメラにおける前記マイクロレンズアレイに対して最前面（最短距離）（その距離ｂf＝３５０ｍｍ）となるよう斜めに傾けて配置している。また，ｒ＝０．１である。これにより，前記マイクロレンズアレイ側から視認できる前記ダイスの奥行き方向の厚み（距離）は１２０ｍｍである。なお，ダイスの黒点の半径は２７ｍｍである。
図７に示すように，前記前面側距離ｂf＝３５０ｍｍという近距離において，奥行き方向の距離１２０ｍｍという深い奥行き範囲に渡って，画像ボケのない鮮明な立体画像（前記構成画像）が得られている。
以上示したように，本第１の発明によれば，撮像対象である前記立体対象の奥行き方向の厚みが既知であり，前記立体対象までの距離を所望の距離に設定できる場合に，１回の撮像によって画像ボケのない立体対象の画像を得ることができる。しかも，前記マイクロレンズの口径及び焦点距離はごく小さいので，単眼式カメラを用いる場合に比べ，より近距離にある立体対象について画像ボケのない画像を構成することが可能である。なお，前記係数ｒを約０．１とすることは，画像ボケのない立体対象の画像が得られる条件として実験的に得られたものである。
（第２の発明）
前記第１の発明について示した方法に限らず，前述したように，前記（６）式及び（７）式を満たす撮影条件で得られた前記複数の縮小像について，前記（５）式（前記Ｘ６式に相当）で求まる前記設定距離ｂrを用いて前記構成画像の生成を行えば，画像ボケのない前記構成画像を得ることができる。
即ち，前記マイクロレンズアレイの正面方向における前記（６）式（前記Ｘ４式に相当）及び（７）式（前記Ｘ５式に相当）をそれぞれ満たす前面側距離ｂfから背面側距離ｂbまでの範囲内に前記立体対象が配置された状態で前記複眼式カメラによる１回の撮影で得られた前記複数の縮小像について，前記（５）式（前記（Ｘ６）式に相当）により求まる設定距離ｂrを前記マイクロレンズアレイから前記立体対象までの距離であるとして，前記第１のシフト量算出工程と同じ処理により，前記複数の縮小像間の相対位置のずれに関するシフト量を求め（前記第２のシフト量算出工程の一例），該工程で得られた前記シフト量に基づいて，前記第１の縮小像配置工程と同じ処理により，前記複数の縮小像を同一領域上に配置して単一の前記立体対象の画像を構成すれば，画像ボケのない前記構成画像（立体画像）を得ることができる。
前記第１の発明について示した方法に限らず，前述したように，前記（６）式及び（７）式を満たす撮影条件で得られた前記複数の縮小像について，前記（５）式（前記Ｘ６式に相当）で求まる前記設定距離ｂrを用いて前記構成画像の生成を行えば，画像ボケのない前記構成画像を得ることができる。
即ち，前記マイクロレンズアレイの正面方向における前記（６）式（前記Ｘ４式に相当）及び（７）式（前記Ｘ５式に相当）をそれぞれ満たす前面側距離ｂfから背面側距離ｂbまでの範囲内に前記立体対象が配置された状態で前記複眼式カメラによる１回の撮影で得られた前記複数の縮小像について，前記（５）式（前記（Ｘ６）式に相当）により求まる設定距離ｂrを前記マイクロレンズアレイから前記立体対象までの距離であるとして，前記第１のシフト量算出工程と同じ処理により，前記複数の縮小像間の相対位置のずれに関するシフト量を求め（前記第２のシフト量算出工程の一例），該工程で得られた前記シフト量に基づいて，前記第１の縮小像配置工程と同じ処理により，前記複数の縮小像を同一領域上に配置して単一の前記立体対象の画像を構成すれば，画像ボケのない前記構成画像（立体画像）を得ることができる。
前述したように，前記（５）〜（７）式において，変数ｂf，ｂb，ｂrのいずれかが与えられると（既知であると），パラメータｙの値が求まるので，そのｙの値を前記（５）〜（７）式のいずれかに代入することによって残りの変数が求まる。
前記（６）式及び（７）式を満たす撮影条件としては，例えば，前記前面側距離ｂfが与えられた場合が考えられる。
この場合，与えられた前記前面側距離ｂfを前記（６）式に代入することによってパラメータｙが求まる。このｙをｙ１とすると，前記マイクロレンズアレイの前方において，与えられた前記前面側距離ｂfからｙ１を前記（７）式に代入して求まる前記背面側距離ｂbまでの範囲内に前記立体対象を配置して撮影すればよい。
そして，ｙ１を前記（５）式に代入して求まる距離を前記設定距離ｂrとして前記構成画像を生成することにより，画像ボケのない前記構成画像を得ることができる。前記背面側距離ｂbが与えられた場合，或いは前記設定距離ｂrが与えられた場合も同様である。
前記（６）式及び（７）式を満たす撮影条件としては，例えば，前記前面側距離ｂfが与えられた場合が考えられる。
この場合，与えられた前記前面側距離ｂfを前記（６）式に代入することによってパラメータｙが求まる。このｙをｙ１とすると，前記マイクロレンズアレイの前方において，与えられた前記前面側距離ｂfからｙ１を前記（７）式に代入して求まる前記背面側距離ｂbまでの範囲内に前記立体対象を配置して撮影すればよい。
そして，ｙ１を前記（５）式に代入して求まる距離を前記設定距離ｂrとして前記構成画像を生成することにより，画像ボケのない前記構成画像を得ることができる。前記背面側距離ｂbが与えられた場合，或いは前記設定距離ｂrが与えられた場合も同様である。
（第３の発明）
前述した第１の発明に係る立体画像構成方法は，撮像対象となる前記立体対象の奥行き方向の厚みが既知であり，前記立体対象までの距離を所望の距離に設定できる場合に有効であるが，前記立体対象の最前面までの距離が不明である場合や，前記立体対象の奥行き方向の厚みが１つの前記設定距離ｂrを用いたシフト量計算に基づいて構成される前記構成画像に画像ボケが生じない最大奥行き長さ（前記（５）式〜（７）式を満たすときの（ｂb−ｂf））を超えている場合等には画像ボケの生じる画像領域が生じることを防げない。
そこで，そのような場合にも画像ボケの生じない立体画像を得ることができる第３の発明に係る立体画像構成方法について以下に説明する。
図８は，第３の発明に係る立体画像構成方法の手順の一例を表すフローチャートである。
＜Ｓ１１：撮影工程＞
まず，複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより，撮影対象である立体対象（三次元物体）を撮影する（Ｓ１１）。撮影条件は特に問わないが，少なくとも前記複眼式カメラで撮像可能な範囲に前記立体対象を配置する。本撮影により得られた前記複数の縮小像のデータは，前記複眼式カメラから所定のコンピュータに転送され，該コンピュータの記憶手段に記憶される。
ここでは，前記マイクロレンズアレイの正面方向の任意の位置（距離）に前記立体対象が配置された状態で前記複眼式カメラによる撮影を行う。
これにより，前記マイクロレンズアレイを通じて複数の縮小像（物体縮小像）が，前記受光素子上に結像される。
前述した第１の発明に係る立体画像構成方法は，撮像対象となる前記立体対象の奥行き方向の厚みが既知であり，前記立体対象までの距離を所望の距離に設定できる場合に有効であるが，前記立体対象の最前面までの距離が不明である場合や，前記立体対象の奥行き方向の厚みが１つの前記設定距離ｂrを用いたシフト量計算に基づいて構成される前記構成画像に画像ボケが生じない最大奥行き長さ（前記（５）式〜（７）式を満たすときの（ｂb−ｂf））を超えている場合等には画像ボケの生じる画像領域が生じることを防げない。
そこで，そのような場合にも画像ボケの生じない立体画像を得ることができる第３の発明に係る立体画像構成方法について以下に説明する。
図８は，第３の発明に係る立体画像構成方法の手順の一例を表すフローチャートである。
＜Ｓ１１：撮影工程＞
まず，複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより，撮影対象である立体対象（三次元物体）を撮影する（Ｓ１１）。撮影条件は特に問わないが，少なくとも前記複眼式カメラで撮像可能な範囲に前記立体対象を配置する。本撮影により得られた前記複数の縮小像のデータは，前記複眼式カメラから所定のコンピュータに転送され，該コンピュータの記憶手段に記憶される。
ここでは，前記マイクロレンズアレイの正面方向の任意の位置（距離）に前記立体対象が配置された状態で前記複眼式カメラによる撮影を行う。
これにより，前記マイクロレンズアレイを通じて複数の縮小像（物体縮小像）が，前記受光素子上に結像される。
＜Ｓ１２：第３のシフト量算出工程＞
次に，前記第２の撮影工程（Ｓ１１）での撮影により得られた前記複数の縮小像について，所定の複数の設定距離ごとに該設定距離が前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める（Ｓ１２）。本工程の処理も，前記コンピュータが所定のプログラムを実行することにより行われ，処理結果（前記シフト量）が前記記憶手段に記憶される。
ここで，前記設定距離ｂr(i)（i=1,2,…,n）は，次の（Ｘ７）式により求まる距離に設定する。
但し，ｂf(1)は所定の初期値，ｒは前記許容係数であり，その値は約０．１とする。
この（Ｘ７）式は，前記（５）式〜（７）式に基づいて，前記設定距離をｂr(i)としたときに画像ボケが生じない前記立体対象の最背面までの距離ｂb(i)と，前記設定距離をｂr(i+1)としたときに画像ボケが生じない前記立体対象の最前面までの距離ｂf(i+1)とが一致する（ｂb(i)＝ｂf(i+1)）ように前記設定距離ｂr(i)を求めるものである。
よって，（Ｘ７）式に従って前記設定距離ｂr(i)を設定すれば，後述する第３の縮小像配置工程における前記縮小像の配置処理の回数（＝一定奥行き長さに対する前記設定距離の数ｎ）を最も少ない回数にしながら，かつ後述する第１の要素領域画像選択工程において確実に画像ボケのない（或いは小さい）前記要素領域ごとの画像を選択することができる。即ち，（Ｘ７）式に従えば，後述する第３の縮小像配置工程において，前記縮小像の配置処理の回数を必要最小限の回数とできる。
もちろん，前記設定距離を（Ｘ７）式により求まる距離よりも設定間隔が狭い距離に設定すれば後述する第１の要素領域画像選択工程において確実に画像ボケのない（或いは小さい）前記要素領域ごとの画像を選択することができる。但しこの場合，奥行き方向の一定長さに対して前記第３の縮小像配置工程における前記縮小像の配置処理の回数（＝ｎ）が増えるので，その分演算負荷が増大する。
前記初期値ｂf(1)としては，前記複眼式カメラでピンボケなく撮像可能な範囲で前記マイクロレンズアレイに最も近い距離とすることや，前記立体対象の最前面が，考えられる範囲で最も前記マイクロレンズアレイに接近するときの距離とすること等が考えられる。
前記設定距離ｂr(i)それぞれについての前記シフト量の計算方法は，前記第１のシフト量算出工程と同様である。
次に，前記第２の撮影工程（Ｓ１１）での撮影により得られた前記複数の縮小像について，所定の複数の設定距離ごとに該設定距離が前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める（Ｓ１２）。本工程の処理も，前記コンピュータが所定のプログラムを実行することにより行われ，処理結果（前記シフト量）が前記記憶手段に記憶される。
ここで，前記設定距離ｂr(i)（i=1,2,…,n）は，次の（Ｘ７）式により求まる距離に設定する。
この（Ｘ７）式は，前記（５）式〜（７）式に基づいて，前記設定距離をｂr(i)としたときに画像ボケが生じない前記立体対象の最背面までの距離ｂb(i)と，前記設定距離をｂr(i+1)としたときに画像ボケが生じない前記立体対象の最前面までの距離ｂf(i+1)とが一致する（ｂb(i)＝ｂf(i+1)）ように前記設定距離ｂr(i)を求めるものである。
よって，（Ｘ７）式に従って前記設定距離ｂr(i)を設定すれば，後述する第３の縮小像配置工程における前記縮小像の配置処理の回数（＝一定奥行き長さに対する前記設定距離の数ｎ）を最も少ない回数にしながら，かつ後述する第１の要素領域画像選択工程において確実に画像ボケのない（或いは小さい）前記要素領域ごとの画像を選択することができる。即ち，（Ｘ７）式に従えば，後述する第３の縮小像配置工程において，前記縮小像の配置処理の回数を必要最小限の回数とできる。
もちろん，前記設定距離を（Ｘ７）式により求まる距離よりも設定間隔が狭い距離に設定すれば後述する第１の要素領域画像選択工程において確実に画像ボケのない（或いは小さい）前記要素領域ごとの画像を選択することができる。但しこの場合，奥行き方向の一定長さに対して前記第３の縮小像配置工程における前記縮小像の配置処理の回数（＝ｎ）が増えるので，その分演算負荷が増大する。
前記初期値ｂf(1)としては，前記複眼式カメラでピンボケなく撮像可能な範囲で前記マイクロレンズアレイに最も近い距離とすることや，前記立体対象の最前面が，考えられる範囲で最も前記マイクロレンズアレイに接近するときの距離とすること等が考えられる。
前記設定距離ｂr(i)それぞれについての前記シフト量の計算方法は，前記第１のシフト量算出工程と同様である。
＜Ｓ１３：第３の縮小像配置工程＞
次に，Ｓ１２（前記第３のシフト量算出工程）で得られた前記シフト量に基づいて前記複数の縮小像を同一領域（所定の画像メモリの領域）上に配置して前記設定距離ごとに単一の前記立体対象の画像を構成する（Ｓ１３）。本工程の処理も，前記コンピュータが所定のプログラムを実行することにより行われ，処理結果（前記画像メモリ領域に配置された画像データ（前記構成画像のデータ））が前記記憶手段に記憶される。
本工程では，複数の前記設定距離ｂr(i)それぞれについて，前記第１の縮小像配置工程と同じ処理を行う。これにより，前記設定距離ｂr(i)の数ｎだけ前記構成画像が生成される。ここで，生成された前記構成画像について，必要に応じて前述した欠失画像の補間・鮮鋭化を行う。
次に，Ｓ１２（前記第３のシフト量算出工程）で得られた前記シフト量に基づいて前記複数の縮小像を同一領域（所定の画像メモリの領域）上に配置して前記設定距離ごとに単一の前記立体対象の画像を構成する（Ｓ１３）。本工程の処理も，前記コンピュータが所定のプログラムを実行することにより行われ，処理結果（前記画像メモリ領域に配置された画像データ（前記構成画像のデータ））が前記記憶手段に記憶される。
本工程では，複数の前記設定距離ｂr(i)それぞれについて，前記第１の縮小像配置工程と同じ処理を行う。これにより，前記設定距離ｂr(i)の数ｎだけ前記構成画像が生成される。ここで，生成された前記構成画像について，必要に応じて前述した欠失画像の補間・鮮鋭化を行う。
＜Ｓ１４：第１の要素領域画像選択工程＞
次に，前記第３の縮小像配置工程により得られた各構成画像の各全領域が区分された複数の要素領域の画像から，前記各構成画像間で対応する前記要素領域ごとに画像ボケのない或いは画像ボケの小さい前記要素領域の画像を選択する（Ｓ１４）。本工程の処理も，前記コンピュータが所定のプログラムを実行することにより行われ，処理結果（例えば，前記要素領域ごとに選択した前記構成画像の番号（即ち，前記設定距離ｂｒ(i)の番号）等）が前記記憶手段に記憶される。
図９は，前記構成画像の区分を模式的に表したものである。
本工程では，図９（ａ）に示すように，前記構成画像の全領域の画素数がＪ×Ｊ（縦×横）であるとしたときに，その全領域を，例えば，図９（ｂ）に示すようなｊ×ｊ画素（１＜ｊ＜Ｊ／２）の要素領域に区分する。
そして，前記第３の縮小像配置工程により得られた複数の前記構成画像それぞれの前記要素領域の画像から，前記各構成画像間で対応する前記要素領域ごとに画像ボケの程度（画像ボケ情報）を求め（後述する画像ボケ情報導出工程の一例），最も画像ボケの程度が小さいものを画像ボケがない（或いは小さい）画像として選択する。
ここで，ｊの値が小さい程（１に近いほど），局所的な領域における画像の解析を行えるため，最終結果の画質を向上できる一方，前記要素領域の数が増える（演算回数は（Ｊ2／ｊ2）回となる）ため，画像処理の演算負荷が高くなる。
また，前記要素領域の画像ボケの程度を求める方法としては，各種手法が考えられる。
例えば，従来のカメラにおけるオートフォーカス処理を適用し，前記要素領域の画像それぞれのコントラストを画像ボケの程度の評価指標とすることが考えられる。この場合，コントラストが最大のものを画像ボケのない（或いは小さい）画像として選択する。
また，ｉ番目とｉ＋１番目の前記構成画像の同一の（対応する）前記要素領域について画像データの差分を求め，その差分に基づいて画像ボケの有無を評価することも考えられる。これは，ピントがずれた画像データからピントずれのない画像データに変化したときに画像データの値の変化（差分）が大きくなるという特性を利用するものである。例えば，ある前記要素領域について，ｈ番目の前記構成画像における画像データに画像ボケがなく，その他の画像データに画像ボケがある場合には，（ｈ−１）番目とｈ番目との差分，及びｈ番目と（ｈ＋１）番目の差分が他の差分よりも大きくなる。
従って，例えば，前記要素領域ごとに，求めた（ｎ−１）個の前記差分からその絶対値が最大のものから２つ選び，その２つの差分の計算に用いた画像データの番号（上記例の場合，（ｈ−１）番目，ｈ番目，（ｈ＋１）番目の３つ）のうちの最大番号及び最小番号以外の番号（上記例の場合，ｈ番目）の画像を画像ボケのない（或いは小さい）画像として選択すること等が考えられる。
これら以外にも，前記設定距離ｂｒ(i)と実際の物体面までの距離とが異なる場合に発生する格子状のノイズの有無を検出することや，前記コントラスト，前記差分及び前記格子状のノイズの各要因の複数を組み合わせた指標を画像ボケ評価の指標とすること等も考えられる。これらの方法はあくまで一例である。
次に，前記第３の縮小像配置工程により得られた各構成画像の各全領域が区分された複数の要素領域の画像から，前記各構成画像間で対応する前記要素領域ごとに画像ボケのない或いは画像ボケの小さい前記要素領域の画像を選択する（Ｓ１４）。本工程の処理も，前記コンピュータが所定のプログラムを実行することにより行われ，処理結果（例えば，前記要素領域ごとに選択した前記構成画像の番号（即ち，前記設定距離ｂｒ(i)の番号）等）が前記記憶手段に記憶される。
図９は，前記構成画像の区分を模式的に表したものである。
本工程では，図９（ａ）に示すように，前記構成画像の全領域の画素数がＪ×Ｊ（縦×横）であるとしたときに，その全領域を，例えば，図９（ｂ）に示すようなｊ×ｊ画素（１＜ｊ＜Ｊ／２）の要素領域に区分する。
そして，前記第３の縮小像配置工程により得られた複数の前記構成画像それぞれの前記要素領域の画像から，前記各構成画像間で対応する前記要素領域ごとに画像ボケの程度（画像ボケ情報）を求め（後述する画像ボケ情報導出工程の一例），最も画像ボケの程度が小さいものを画像ボケがない（或いは小さい）画像として選択する。
ここで，ｊの値が小さい程（１に近いほど），局所的な領域における画像の解析を行えるため，最終結果の画質を向上できる一方，前記要素領域の数が増える（演算回数は（Ｊ2／ｊ2）回となる）ため，画像処理の演算負荷が高くなる。
また，前記要素領域の画像ボケの程度を求める方法としては，各種手法が考えられる。
例えば，従来のカメラにおけるオートフォーカス処理を適用し，前記要素領域の画像それぞれのコントラストを画像ボケの程度の評価指標とすることが考えられる。この場合，コントラストが最大のものを画像ボケのない（或いは小さい）画像として選択する。
また，ｉ番目とｉ＋１番目の前記構成画像の同一の（対応する）前記要素領域について画像データの差分を求め，その差分に基づいて画像ボケの有無を評価することも考えられる。これは，ピントがずれた画像データからピントずれのない画像データに変化したときに画像データの値の変化（差分）が大きくなるという特性を利用するものである。例えば，ある前記要素領域について，ｈ番目の前記構成画像における画像データに画像ボケがなく，その他の画像データに画像ボケがある場合には，（ｈ−１）番目とｈ番目との差分，及びｈ番目と（ｈ＋１）番目の差分が他の差分よりも大きくなる。
従って，例えば，前記要素領域ごとに，求めた（ｎ−１）個の前記差分からその絶対値が最大のものから２つ選び，その２つの差分の計算に用いた画像データの番号（上記例の場合，（ｈ−１）番目，ｈ番目，（ｈ＋１）番目の３つ）のうちの最大番号及び最小番号以外の番号（上記例の場合，ｈ番目）の画像を画像ボケのない（或いは小さい）画像として選択すること等が考えられる。
これら以外にも，前記設定距離ｂｒ(i)と実際の物体面までの距離とが異なる場合に発生する格子状のノイズの有無を検出することや，前記コントラスト，前記差分及び前記格子状のノイズの各要因の複数を組み合わせた指標を画像ボケ評価の指標とすること等も考えられる。これらの方法はあくまで一例である。
＜Ｓ１５：画像組合せ工程＞
次に，前記第１の要素領域画像選択工程により選択された前記要素領域の画像を組み合わせて単一の前記立体対象の画像を構成する（Ｓ１５）。本工程の処理も，前記コンピュータが所定のプログラムを実行することにより行われ，処理結果（組み合わされた単一の前記立体対象の画像のデータ）が前記記憶手段に記憶される。
これにより，画像ボケのない（或いは小さい）前記要素領域の画像が組み合わされて全領域について画像ボケのない（或いは小さい）立体画像を得ることができる。従って，前記立体対象までの距離を任意に設定できない場合や，前記立体対象の奥行き方向の厚みが１つの前記設定距離を用いたシフト量計算に基づいて構成される前記構成画像に画像ボケが生じない最大奥行き長さを超えている場合であっても，全領域について画像ボケのない（或いは小さい）立体画像を得ることができる。
しかも，前記マイクロレンズの口径及び焦点距離はごく小さいので，単眼式カメラを用いる場合に比べ，より近距離にある立体対象について画像ボケのない画像を得ることが可能である。
次に，前記第１の要素領域画像選択工程により選択された前記要素領域の画像を組み合わせて単一の前記立体対象の画像を構成する（Ｓ１５）。本工程の処理も，前記コンピュータが所定のプログラムを実行することにより行われ，処理結果（組み合わされた単一の前記立体対象の画像のデータ）が前記記憶手段に記憶される。
これにより，画像ボケのない（或いは小さい）前記要素領域の画像が組み合わされて全領域について画像ボケのない（或いは小さい）立体画像を得ることができる。従って，前記立体対象までの距離を任意に設定できない場合や，前記立体対象の奥行き方向の厚みが１つの前記設定距離を用いたシフト量計算に基づいて構成される前記構成画像に画像ボケが生じない最大奥行き長さを超えている場合であっても，全領域について画像ボケのない（或いは小さい）立体画像を得ることができる。
しかも，前記マイクロレンズの口径及び焦点距離はごく小さいので，単眼式カメラを用いる場合に比べ，より近距離にある立体対象について画像ボケのない画像を得ることが可能である。
（第４の発明）
前記第１の発明及び第３の発明は，画像ボケのない立体画像を得るためのものであったが，前記第３の発明を応用して，前記マイクロレンズアレイから，撮像対象である前記立体対象の各部位までの距離を求めることが可能である。
以下，図１０のフローチャートを用いて，第４の発明に係る立体対象の距離導出方法の手順の一例について説明する。
この立体対象の距離導出方法におけるＳ２１〜Ｓ２４の工程は，図８に示したＳ１１〜Ｓ１４の工程と同じであるのでここでは説明を省略する。ここで，図８における前記第１の要素領域画像選択工程が，図１０における第２の要素領域画像選択工程に相当する。また，前記第１の要素領域画像選択工程において説明した前記要素領域の画像ボケの程度（前記画像ボケ情報の一例）を求める処理（工程）が，前記画像ボケ情報導出工程の一例である。
前記第１の発明及び第３の発明は，画像ボケのない立体画像を得るためのものであったが，前記第３の発明を応用して，前記マイクロレンズアレイから，撮像対象である前記立体対象の各部位までの距離を求めることが可能である。
以下，図１０のフローチャートを用いて，第４の発明に係る立体対象の距離導出方法の手順の一例について説明する。
この立体対象の距離導出方法におけるＳ２１〜Ｓ２４の工程は，図８に示したＳ１１〜Ｓ１４の工程と同じであるのでここでは説明を省略する。ここで，図８における前記第１の要素領域画像選択工程が，図１０における第２の要素領域画像選択工程に相当する。また，前記第１の要素領域画像選択工程において説明した前記要素領域の画像ボケの程度（前記画像ボケ情報の一例）を求める処理（工程）が，前記画像ボケ情報導出工程の一例である。
＜Ｓ２５：距離導出工程＞
Ｓ２１〜Ｓ２４の処理（即ち，Ｓ１１〜Ｓ１４の処理）の後，Ｓ２４で前記要素領域ごとに選択された前記要素領域の画像に対応する前記設定距離ｂr(i)を用いて（基づいて），前記要素領域それぞれに対応する前記立体対象の各部位についての前記マイクロレンズアレイからの距離を求める。
Ｓ２４（第２の要素領域画像選択工程）で画像ボケがない（或いは小さい）と判別された前記要素領域に対応する前記立体対象の部位は，その要素領域の画像に対応する前記設定距離ｂr(i)（即ち，その要素領域の画像が得られたときの前記設定距離ｂr(i)）の前後の所定範囲内（ｂf〜ｂbの範囲内）に入っていることになる。
従って，本工程では，画像ボケがない（或いは小さい）と判別された前記要素領域の画像に対応する前記設定距離ｂr(i)をその要素領域に対応する前記立体対象の部位の距離として求める。
これにより，その設定距離ｂr(i)の前後の画像ボケが生じない範囲（ｂf〜ｂbの範囲）を最大誤差範囲として前記立体対象の各部位の距離を求めることができる。
この他にも，例えば前記要素領域ごとに，前記画像ボケの程度が小さい画像を複数選択し，その要素領域について選択された複数の画像に対応する前記設定距離（複数）について，最大値，最小値若しくは平均値を求める，又は最小の前記設定距離と最大の前記設定距離とを所定の重み付けでの加重平均値を求める（単純平均を含む）ことにより得られた値（距離）を前記立体対象の各部位の距離とすること（前記距離導出工程の他の例）等も考えられる。
この第４の発明によれば，１回の撮像によって得た前記複数の縮小像から，前記立体対象の各部位までの距離情報を得ることができる。
Ｓ２１〜Ｓ２４の処理（即ち，Ｓ１１〜Ｓ１４の処理）の後，Ｓ２４で前記要素領域ごとに選択された前記要素領域の画像に対応する前記設定距離ｂr(i)を用いて（基づいて），前記要素領域それぞれに対応する前記立体対象の各部位についての前記マイクロレンズアレイからの距離を求める。
Ｓ２４（第２の要素領域画像選択工程）で画像ボケがない（或いは小さい）と判別された前記要素領域に対応する前記立体対象の部位は，その要素領域の画像に対応する前記設定距離ｂr(i)（即ち，その要素領域の画像が得られたときの前記設定距離ｂr(i)）の前後の所定範囲内（ｂf〜ｂbの範囲内）に入っていることになる。
従って，本工程では，画像ボケがない（或いは小さい）と判別された前記要素領域の画像に対応する前記設定距離ｂr(i)をその要素領域に対応する前記立体対象の部位の距離として求める。
これにより，その設定距離ｂr(i)の前後の画像ボケが生じない範囲（ｂf〜ｂbの範囲）を最大誤差範囲として前記立体対象の各部位の距離を求めることができる。
この他にも，例えば前記要素領域ごとに，前記画像ボケの程度が小さい画像を複数選択し，その要素領域について選択された複数の画像に対応する前記設定距離（複数）について，最大値，最小値若しくは平均値を求める，又は最小の前記設定距離と最大の前記設定距離とを所定の重み付けでの加重平均値を求める（単純平均を含む）ことにより得られた値（距離）を前記立体対象の各部位の距離とすること（前記距離導出工程の他の例）等も考えられる。
この第４の発明によれば，１回の撮像によって得た前記複数の縮小像から，前記立体対象の各部位までの距離情報を得ることができる。
本発明は，各種画像処理装置等への利用が可能である。
Ｑ０，Ｑ１，Ｑ２…縮小像
Ｍ１…単一の立体対象の画像が構成される領域
Ｓ１，Ｓ２，，…処理手順（ステップ）の番号
Ｍ１…単一の立体対象の画像が構成される領域
Ｓ１，Ｓ２，，…処理手順（ステップ）の番号
Claims (6)
- 複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮影し，前記複数の縮小像から前記立体対象の画像を構成する立体画像構成方法において，
前記マイクロレンズアレイの正面方向における下記（Ｘ１）式を満たす前面側距離ｂfから下記（Ｘ２）式により求まる背面側距離ｂbまでの範囲内に前記立体対象が配置された状態で前記複眼式カメラによる撮影で得られた前記複数の縮小像について，下記（Ｘ３）式により求まる設定距離ｂrを前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める第１のシフト量算出工程と，
前記第１のシフト量算出工程で得られた前記シフト量に基づいて前記複数の縮小像を同一領域上に配置して単一の前記立体対象の画像を構成する第１の縮小像配置工程と，
を有してなることを特徴とする立体画像構成方法。
- 複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮影し，前記複数の縮小像から前記立体対象の画像を構成する立体画像構成方法において，
前記マイクロレンズアレイの正面方向における下記（Ｘ４）式及び（Ｘ５）式をそれぞれ満たす前面側距離ｂfから背面側距離ｂbまでの範囲内に前記立体対象が配置された状態で前記複眼式カメラによる撮影で得られた前記複数の縮小像について，下記（Ｘ６）式により求まる設定距離ｂrを前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める第２のシフト量算出工程と，
前記第２のシフト量算出工程で得られた前記シフト量に基づいて前記複数の縮小像を同一領域上に配置して単一の前記立体対象の画像を構成する第２の縮小像配置工程と，
を有してなることを特徴とする立体画像構成方法。
- 複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮像し，前記複数の縮小像から前記立体対象の画像を構成する立体画像構成方法において，
前記複眼式カメラによる前記立体対象の撮影により得られた前記複数の縮小像について，所定の複数の設定距離ごとに該設定距離が前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める第３のシフト量算出工程と，
前記第３のシフト量算出工程で得られた前記シフト量に基づいて前記複数の縮小像を同一領域上に配置して前記設定距離ごとに単一の前記立体対象の画像を構成する第３の縮小像配置工程と，
前記第３の縮小像配置工程により得られた各構成画像の各全領域が区分された複数の要素領域の画像から，前記各構成画像間で対応する前記要素領域ごとに画像ボケのない或いは画像ボケの小さい前記要素領域の画像を選択する第１の要素領域画像選択工程と，
前記第１の要素領域画像選択工程により選択された前記要素領域の画像を組み合わせて単一の前記立体対象の画像を構成する画像組合せ工程と，
を有してなることを特徴とする立体画像構成方法。 - 前記設定距離ｂr(i)（i=1,2,…,n）を下記（Ｘ７）式により求まる距離又は下記（Ｘ７）式により求まる距離よりも設定間隔が狭い距離に設定してなる請求項２に記載の立体画像構成方法。
- 複数のマイクロレンズが配列されたマイクロレンズアレイを通じて受光素子上に複数の縮小像を結像する複眼式カメラにより立体対象を撮影し，前記複数の縮小像から構成した前記立体対象の画像に基づいて前記マイクロレンズアレイから前記立体対象の各部位までの距離を求める立体対象の距離導出方法であって，
前記複眼式カメラによる前記立体対象の撮影により得られた前記複数の縮小像について，所定の複数の設定距離ごとに該設定距離が前記マイクロレンズアレイから前記立体対象までの距離であるとして前記複数の縮小像間の相対位置のずれに関するシフト量を求める第３のシフト量算出工程と，
前記第３のシフト量算出工程で得られた前記シフト量に基づいて前記複数の縮小像を同一領域上に配置して前記設定距離ごとに単一の前記立体対象の画像を構成する第３の縮小像配置工程と，
前記第３の縮小像配置工程により得られた各構成画像の各全領域が区分された複数の要素領域の画像から，前記各構成画像間で対応する前記要素領域ごとに画像ボケの有無又は画像ボケの程度に関する画像ボケ情報を求める画像ボケ情報導出工程と，
前記画像ボケ情報導出工程で得られた前記画像ボケ情報及びそれに対応する前記設定距離に基づいて前記要素領域それぞれに対応する前記立体対象の各部位についての前記マイクロレンズアレイからの距離を求める距離導出工程と，
を有してなることを特徴とする立体対象の距離導出方法。 - 前記距離導出工程が，
前記画像ボケ情報導出工程により得られた前記画像ボケ情報に基づいて前記各構成画像間で対応する前記要素領域ごとに画像ボケのない或いは画像ボケの小さい前記要素領域の画像を選択する第２の要素領域画像選択工程を有し，該第２の要素領域画像選択工程で選択された前記要素領域の画像に対応する前記設定距離に基づいて前記要素領域それぞれに対応する前記立体対象の各部位についての前記マイクロレンズアレイからの距離を求めてなる請求項５に記載の立体対象の距離導出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003301501A JP4205533B2 (ja) | 2003-08-26 | 2003-08-26 | 立体画像構成方法，立体対象の距離導出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003301501A JP4205533B2 (ja) | 2003-08-26 | 2003-08-26 | 立体画像構成方法，立体対象の距離導出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005069936A JP2005069936A (ja) | 2005-03-17 |
| JP4205533B2 true JP4205533B2 (ja) | 2009-01-07 |
Family
ID=34406107
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003301501A Expired - Lifetime JP4205533B2 (ja) | 2003-08-26 | 2003-08-26 | 立体画像構成方法，立体対象の距離導出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4205533B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4645358B2 (ja) * | 2004-08-20 | 2011-03-09 | ソニー株式会社 | 撮像装置および撮像方法 |
| JP4306744B2 (ja) | 2007-03-01 | 2009-08-05 | ソニー株式会社 | 生体認証装置 |
| JP4915859B2 (ja) * | 2007-03-26 | 2012-04-11 | 船井電機株式会社 | 物体の距離導出装置 |
| JP4905326B2 (ja) * | 2007-11-12 | 2012-03-28 | ソニー株式会社 | 撮像装置 |
| JP5369564B2 (ja) * | 2008-09-11 | 2013-12-18 | 株式会社ニコン | 形状測定装置 |
| JP5369563B2 (ja) * | 2008-09-11 | 2013-12-18 | 株式会社ニコン | 形状測定装置 |
| JP2010210490A (ja) * | 2009-03-11 | 2010-09-24 | Ricoh Co Ltd | 移動計測装置及び方法、並びにプログラム |
| WO2013065884A1 (ko) * | 2011-11-01 | 2013-05-10 | 엘지전자 주식회사 | 카메라 및 그를 구비한 입체 이미지 시스템 |
| DE102013005616A1 (de) | 2013-04-04 | 2014-10-23 | DüRR DENTAL AG | Dentalkamerasystem |
-
2003
- 2003-08-26 JP JP2003301501A patent/JP4205533B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005069936A (ja) | 2005-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9628696B2 (en) | Image processing apparatus, image processing method, image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium | |
| JP6305053B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
| JP4235539B2 (ja) | 画像構成装置及び画像構成方法 | |
| EP2175632A1 (en) | Image processing apparatus and method | |
| CN105391932B (zh) | 图像处理装置及其控制方法、以及摄像装置及其控制方法 | |
| JP2005210217A (ja) | ステレオカメラ | |
| US9535193B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP6702796B2 (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
| JP2010128820A (ja) | 立体画像処理装置、方法及びプログラム並びに立体撮像装置 | |
| JP2007158825A (ja) | 画像入力装置 | |
| JP2019016275A (ja) | 画像処理方法、画像処理プログラム、記憶媒体、画像処理装置、および撮像装置 | |
| JP2014006388A (ja) | 撮像装置およびその制御方法ならびにプログラム | |
| US20170034436A1 (en) | Image capturing apparatus | |
| KR20100040643A (ko) | 고해상도 영상을 생성하기 위한 영상 처리 장치 및 방법 | |
| JP4205533B2 (ja) | 立体画像構成方法，立体対象の距離導出方法 | |
| US9407801B2 (en) | Compound eye image pickup apparatus | |
| JP2019032295A (ja) | 測距カメラ | |
| JP7288226B2 (ja) | 測距カメラ | |
| JP6234401B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
| US10230882B2 (en) | Image pickup apparatus acquiring a plurality of in-focus images of different field angles | |
| JP7121269B2 (ja) | 測距カメラ | |
| US20160275657A1 (en) | Imaging apparatus, image processing apparatus and method of processing image | |
| JP2019164011A (ja) | 測距カメラ | |
| US10326951B2 (en) | Image processing apparatus, image processing method, image capturing apparatus and image processing program | |
| JP2014036347A (ja) | 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060428 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080403 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081014 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081016 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111024 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4205533 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111024 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121024 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131024 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |