JP4066488B2 - 画像データ生成装置及び画像データ生成方法 - Google Patents
画像データ生成装置及び画像データ生成方法 Download PDFInfo
- Publication number
- JP4066488B2 JP4066488B2 JP01076798A JP1076798A JP4066488B2 JP 4066488 B2 JP4066488 B2 JP 4066488B2 JP 01076798 A JP01076798 A JP 01076798A JP 1076798 A JP1076798 A JP 1076798A JP 4066488 B2 JP4066488 B2 JP 4066488B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- parallax
- parallax image
- data
- image sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 124
- 238000006243 chemical reaction Methods 0.000 claims description 125
- 238000013500 data storage Methods 0.000 claims description 11
- 230000001131 transforming effect Effects 0.000 claims 2
- 230000001360 synchronised effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 21
- 238000005070 sampling Methods 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 16
- 239000000872 buffer Substances 0.000 description 11
- 238000009792 diffusion process Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012840 feeding operation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
- G03H1/268—Holographic stereogram
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0402—Recording geometries or arrangements
- G03H1/0408—Total internal reflection [TIR] holograms, e.g. edge lit or substrate mode holograms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0402—Recording geometries or arrangements
- G03H2001/0415—Recording geometries or arrangements for recording reflection holograms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
- G03H2001/0833—Look up table
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2249—Holobject properties
- G03H2001/2252—Location of the holobject
- G03H2001/2257—Straddling the hologram
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
- G03H1/268—Holographic stereogram
- G03H2001/2685—One step recording process
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2210/00—Object characteristics
- G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
- G03H2210/42—Synthetic representation, i.e. digital or optical object decomposition from real object, e.g. using 3D scanner
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2210/00—Object characteristics
- G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
- G03H2210/44—Digital representation
- G03H2210/441—Numerical processing applied to the object data other than numerical propagation
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2210/00—Object characteristics
- G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
- G03H2210/45—Representation of the decomposed object
- G03H2210/454—Representation of the decomposed object into planes
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2223/00—Optical components
- G03H2223/12—Amplitude mask, e.g. diaphragm, Louver filter
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2250/00—Laminate comprising a hologram layer
- G03H2250/14—Forming layer onto which a surface relief hologram is formed
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2270/00—Substrate bearing the hologram
- G03H2270/20—Shape
- G03H2270/23—Ribbon shaped, e.g. holographic foil
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B7/00—Recording or reproducing by optical means, e.g. recording using a thermal beam of optical radiation by modifying optical properties or the physical structure, reproducing using an optical beam at lower power by sensing optical properties; Record carriers therefor
- G11B7/004—Recording, reproducing or erasing methods; Read, write or erase circuits therefor
- G11B7/0065—Recording, reproducing or erasing by using optical interference patterns, e.g. holograms
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Holo Graphy (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、視差情報を含む複数の画像からなる視差画像列のデータに対して視点変換処理を施して新たな視差画像列のデータを生成する画像データ生成装置及び画像データ生成方法に関する。
【０００２】
【従来の技術】
ホログラフィックステレオグラムは、被写体を異なる観察点から順次撮影することにより得られた多数の画像を原画として、これらを１枚のホログラム用記録媒体に短冊状又はドット状の要素ホログラムとして順次記録することにより作成される。
【０００３】
例えば、横方向のみに視差情報を持つホログラフィックステレオグラムを作成する際は、図１５に示すように、先ず、被写体１００を横方向の異なる観察点から順次撮影することにより、横方向の視差情報を有する複数の画像からなる視差画像列１０１を得る。そして、この視差画像列１０１を構成する各画像１０２を、短冊状の要素ホログラムとしてホログラム用記録媒体１０３に横方向に連続するように順次記録する。これにより、横方向に視差情報を持つホログラフィックステレオグラムが得られる。
【０００４】
このホログラフィックステレオグラムでは、横方向の異なる観察点から順次撮影することにより得られた複数の画像１０２の情報が、短冊状の要素ホログラムとして横方向に連続するように順次記録されているので、このホログラフィックステレオグラムを観察者が両目で見たとき、その左右の目にそれぞれ写る２次元画像は異なるものとなる。これにより、観察者は視差を感じることとなり、３次元画像が再生されることとなる。
【０００５】
なお、ホログラフィックステレオグラムの元となる視差画像列は、例えば、図１６に示すように、被写体１００に向けたカメラ１０４をその方向を一定に保持したまま平行に動かして、異なる位置から被写体１００を多数撮影することによって得られる。すなわち、被写体１００がカメラ１０４による撮影範囲に入る位置から、被写体１００がカメラ１０４による撮影範囲から外れる位置に至るまで、被写体１００に向けたカメラ１０４を平行に動かし、この間において多数の画像を撮影することにより、ホログラフィックステレオグラムの元となる画像である視差画像列が得られる。なお、このようにカメラ１０４の方向を一定に保持したままカメラ１０４を平行に動かして、異なる位置から被写体１００を多数撮影する方式は、straight track方式と称される。
【０００６】
ところで、ホログラフィックステレオグラムにおいて、撮影時におけるカメラ１０４の視点と被写体１００との位置関係は、作成されたホログラフィックステレオグラムの再生像に対しても保持される。したがって、上述のように撮影された視差画像列をそのまま用いてホログラフィックステレオグラムを作成すると、図１７に示すように、再生像ＺがホログラフィックステレオグラムＨのホログラム面Ｈａよりも奥に結像してしまう。そのため、このようなホログラフィックステレオグラムＨでは、再生像Ｚと観察者の視点Ｓとの距離ｄ０が、撮影時における被写体１００とカメラ１０４の視点との距離ｄに一致するように、視点Ｓをホログラム面Ｈａにおいて再生像Ｚを見ない限り、再生像Ｚに歪みやぼけが生じてしまう。
【０００７】
そこで、ホログラフィックステレオグラムを作成する際には、このような問題を解決するために、元の視差画像列のデータに対して視点変換処理を施して、図１８に示すように、再生像ＺがホログラフィックステレオグラムＨのホログラム面Ｈａの近傍に結像するようにする必要がある。このような視点変換処理を施すことにより、ホログラム面Ｈａから離れた位置に視点Ｓをおいても、歪みやぼけの少ない再生像Ｚが得られるようになる。
【０００８】
【発明が解決しようとする課題】
ホログラフィックステレオグラムを作成する際は、上述のように視点変換処理を施す必要があるが、視点変換処理には煩雑な演算処理を必要とする。そのため、従来、ホログラフィックステレオグラムの作成には、かなり長い時間を必要としていた。すなわち、従来は、元となる視差画像列のデータに対して視点変換処理を施して新たな視差画像列のデータを作成するのに非常に長い時間がかかっており、このため、ホログラフィックステレオグラムを速やかに作成することができなかった。
【０００９】
しかしながら、ホログラフィックステレオグラム作成システムを、３次元画像が得られるハードコピーを出力するプリンタ装置として実用化するには、ホログラフィックステレオグラムの元となる画像の入力から、ホログラフィックステレオグラムが完成するまでの時間を短縮する必要があり、そのため、上記視点変換処理を速やかに行えるようにすることが強く望まれている。
【００１０】
なお、視点変換処理の高速化が望まれるのは、ホログラフィックステレオグラムを作成する場合だけではない。例えば、視点変換処理は、視差を利用して表示装置に立体的な画像を表示するようなときに行われる場合もあり、このような場合にも、視点変換処理を速やかに行えるようになされていることが望ましいことは言うまでもない。
【００１１】
本発明は、以上のような従来の実情に鑑みて提案されたものであり、視差情報を含む複数の画像からなる視差画像列のデータに対して視点変換処理を行い新たな視差画像列のデータを生成するにあたって、新たな視差画像列のデータを速やかに生成することが可能な画像データ生成装置及び画像データ生成方法を提供することを目的としている。
【００１２】
【課題を解決するための手段】
本発明に係る画像データ生成装置は、視差情報を含む複数の画像からなる視差画像列のデータに対して視点変換処理を行い新たな視差画像列のデータを生成する画像データ生成装置であって、元の視差画像列を構成する各画像の画素と、ホログラフィックステレオグラムに記録される視差画像列のデータであり視差画像列を構成する各画像がホログラフィックステレオグラムを構成する要素ホログラムとしてそれぞれ記録される新たな視差画像列を構成する各画像の画素との対応関係を示すルックアップテーブルが格納されるルックアップテーブル格納手段を備えている。そして、上記ルックアップテーブル格納手段に格納されたルックアップテーブルに基づいて画素の入れ替えを行うことにより視点変換処理を行い、元の視差画像列のデータから新たな視差画像列のデータを生成する。
【００１３】
一般に、視点変換処理において、視点変換処理におけるパラメータが一定ならば、元の視差画像列を構成する各画像の画素と、新たな視差画像列を構成する各画像の画素との対応関係は、常に一定である。したがって、画素の対応関係が予め分かっていれば、煩雑な演算処理を行うことなく、上記対応関係に基づいて画素の入れ替えを行うだけで視点変換処理を行うことができる。
【００１４】
そして、上記画像データ生成装置では、元の視差画像列を構成する各画像の画素と、新たな視差画像列を構成する各画像の画素との対応関係を示すルックアップテーブルを予めルックアップテーブル格納手段に格納しておき、当該ルックアップテーブルに基づいて画素の入れ替えを行うことにより視点変換処理を行い、上記各要素ホログラムを記録するタイミングに同期させて、上記視点変換処理が施された視差画像列のデータを、該新たな視差画像列を構成する各画像毎に順次出力するようにしているので、煩雑な演算処理を行うことなく、視点変換処理を速やかに行うことが可能となっている。
【００１５】
なお、上記画像データ生成装置は、視差画像列のデータが格納される画像データ格納手段を備えていることが好ましい。この場合は、新たな視差画像列のデータを生成する際に、元の視差画像列を構成する各画像のデータを上記画像データ格納手段に順次格納していき、元の視差画像列の全データを上記画像データ格納手段に格納した上で視点変換処理を行うようにする。これにより、画像データ生成装置への視差画像列の入力を、当該視差画像列を構成する各画像を撮影する毎にリアルタイムで行うことが可能となる。
【００１６】
また、上記画像データ生成装置は、元の視差画像列を構成する各画像の画素と、新たな視差画像列を構成する各画像の画素との対応関係を求めて上記ルックアップテーブルを生成するルックアップテーブル生成手段を備えていることが好ましい。これにより、元の視差画像列を構成する各画像の画素と、新たな視差画像列を構成する各画像の画素との対応関係が予め分かっていない場合にも、ルックアップテーブルを生成した上で視点変換処理を行うことが可能となる。
【００１７】
また、上記画像データ生成装置において、上記ルックアップテーブル格納手段は、データの書き換えが可能とされており、所望する視点変換処理に応じてルックアップテーブルの内容を書き換えるようになされていることが好ましい。これにより、パラメータの異なる様々な視点変換処理に対応することが可能となる。
【００１８】
また、上記画像データ生成装置において、視差画像列が一方向の視差のみを有する場合、上記ルックアップテーブルには、元の視差画像列を構成する各画像の画素と、新たな視差画像列を構成する各画像の画素との対応関係を、一列に並んだ複数の画素からなる画素列を最小単位として記録しておき、上記視点変換処理を行う際に、上記画素列を最小単位として画素の入れ替えを行うことが好ましい。これにより、視点変換処理をより効率良く行うことができる。
【００１９】
なお、画素列を最小単位として画素の入れ替えを行う場合、当該画素列は、例えば、画像を表示装置に表示する際の走査線に対応させる。このとき、元の視差画像列が走査線方向にのみ視差を有する場合には、該元の視差画像列を構成する各画像を９０度回転変換した上で、視点変換処理を行うようにする。
【００２０】
また、上記画像データ生成装置において、元の視差画像列にキーストン歪みが生じているような場合、上記ルックアップテーブルには、元の視差画像列を構成する各画像の画素と、新たな視差画像列を構成する各画像の画素との対応関係のほかに、キーストン歪みを補正するための補正パラメータも含めておき、視点変換処理を行う際に、ルックアップテーブルに基づいて画素の入れ替えを行うとともに、上記補正パラメータに基づいてキーストン歪みの補正を行うようにすることが好ましい。これにより、キーストン歪みが補正された視差画像列のデータを得ることができる。
【００２２】
そして、この画像データ生成装置で新たに生成する視差画像列のデータが、ホログラフィックステレオグラムに記録される視差画像列のデータであり、各要素ホログラムを記録するタイミングに同期させて、視点変換処理が施された視差画像列のデータを、当該視差画像列を構成する各画像毎に順次出力するようにするので、ホログラフィックステレオグラムを速やかに作成することが可能となる。
【００２３】
一方、本発明に係る画像データ生成方法は、視差情報を含む複数の画像からなる視差画像列のデータに対して視点変換処理を行い新たな視差画像列のデータを生成する際に、元の視差画像列を構成する各画像の画素と、ホログラフィックステレオグラムに記録される視差画像列のデータであり視差画像列を構成する各画像がホログラフィックステレオグラムを構成する要素ホログラムとしてそれぞれ記録される新たな視差画像列を構成する各画像の画素との対応関係を示すルックアップテーブルを予め作成しておき、上記ルックアップテーブルに基づいて画素の入れ替えを行うことにより視点変換処理を行うとともに、上記各要素ホログラムを記録するタイミングに同期させて、該視点変換処理が施された視差画像列のデータを、該新たな視差画像列を構成する各画像毎に順次出力し、元の視差画像列のデータから新たな視差画像列のデータを生成することを特徴としている。
【００２４】
この画像データ生成方法では、ルックアップテーブルに基づいて画素の入れ替えを行うことにより視点変換処理を行うようにしているので、煩雑な演算処理を行うことなく、視点変換処理を速やかに行うことが可能となっている。
【００２５】
なお、上記画像データ生成方法では、新たな視差画像列のデータを生成する際に、元の視差画像列を構成する各画像のデータを画像データ格納手段に順次格納していき、元の視差画像列の全データを画像データ格納手段に格納した上で上記視点変換処理を行うことが好ましい。これにより、元となる視差画像列を、当該視差画像列を構成する各画像を撮影する毎に、データ格納手段にリアルタイムで入力することが可能となる。
【００２６】
また、上記画像データ生成方法では、ルックアップテーブルを書き換え可能な記憶装置に記憶させておくようにし、所望する視点変換処理に応じて、視点変換処理を行う前にルックアップテーブルの内容を書き換えるようにすることが好ましい。これにより、パラメータの異なる様々な視点変換処理に対応することが可能となる。
【００２７】
また、上記画像データ生成方法において、視差画像列が一方向の視差のみを有する場合、上記ルックアップテーブルには、元の視差画像列を構成する各画像の画素と、新たな視差画像列を構成する各画像の画素との対応関係を、一列に並んだ複数の画素からなる画素列を最小単位として記録しておき、上記視点変換処理を行う際に、上記画素列を最小単位として画素の入れ替えを行うことが好ましい。これにより、視点変換処理をより効率良く行うことができる。
【００２８】
なお、画素列を最小単位として画素の入れ替えを行う場合、当該画素列は、例えば、画像を表示装置に表示する際の走査線に対応させる。このとき、元の視差画像列が走査線方向にのみ視差を有する場合には、当該視差画像列を構成する各画像を９０度回転変換した上で、上記視点変換処理を行うようにする。
【００２９】
また、上記画像データ生成方法において、元の視差画像列にキーストン歪みが生じているような場合、上記ルックアップテーブルには、元の視差画像列を構成する各画像の画素と、新たな視差画像列を構成する各画像の画素との対応関係のほかに、キーストン歪みを補正するための補正パラメータも含めておき、視点変換処理を行う際に、ルックアップテーブルに基づいて画素の入れ替えを行うとともに、上記補正パラメータに基づいてキーストン歪みの補正を行うようにすることが好ましい。これにより、キーストン歪みが補正された視差画像列のデータを得ることができる。
【００３１】
そして、この画像データ生成方法で新たに生成される視差画像列のデータが、ホログラフィックステレオグラムに記録される視差画像列のデータであり、各要素ホログラムを記録するタイミングに同期させて、視点変換処理が施された視差画像列のデータを、当該視差画像列を構成する各画像毎に順次出力するようにするので、ホログラフィックステレオグラムを速やかに作成することが可能となる。
【００３２】
【発明の実施の形態】
以下、本発明の実施の形態について、ホログラフィックステレオグラム作成システムを例に挙げて、図面を参照しながら詳細に説明する。
【００３３】
なお、以下の説明では、ホログラフィックステレオグラムを作成するホログラフィックステレオグラム作成システムを例に挙げるが、本発明は、視点変換処理が必要とされる分野に広く適用可能である。すなわち、例えば、視差を利用して表示装置に立体的な画像を表示するようなときに視点変換処理が行われる場合もあり、このような場合にも本発明は適用可能である。
【００３４】
まず、ホログラフィックステレオグラム作成システムの全体構成について説明する。なお、以下に説明するホログラフィックステレオグラム作成システムは、物体光と参照光との干渉縞が記録されたフィルム状のホログラム用記録媒体をそのままホログラフィックステレオグラムとして出力する。このように物体光と参照光との干渉縞がホログラム用記録媒体に直接記録されてなるホログラフィックステレオグラムは、一般に、ワンステップホログラフィックステレオグラムと称される。すなわち、以下に説明するホログラフィックステレオグラム作成システムは、ワンステップホログラフィックステレオグラムを作成するシステムの一例である。
【００３５】
そして、このホログラフィックステレオグラム作成システムは、図１に示すように、ホログラフィックステレオグラムに記録する画像の画像データを生成する画像データ生成装置１と、このシステム全体の制御を行う制御用コンピュータ２と、ホログラフィックステレオグラム作成用の光学系を有するホログラフィックステレオグラムプリンタ装置３とを備えている。
【００３６】
上記画像データ生成装置１は、本発明を適用して、ホログラフィックステレオグラムに記録される複数の要素ホログラムに対応した複数の画像の画像データ（すなわち視差画像列のデータ）を生成する。なお、この画像データ生成装置１による画像データの生成については、後で詳細に説明する。
【００３７】
そして、画像データ生成装置１は、ホログラム用記録媒体に画像を記録する際に、生成した画像データＤ１をホログラム用記録媒体に記録する順に１画像分毎にホログラフィックステレオグラムプリンタ装置３に送出するとともに、ホログラフィックステレオグラムプリンタ装置３に１画像分の画像データＤ１を送出する毎に、画像データＤ１を送出したことを示すタイミング信号を制御用コンピュータ２に送出する。
【００３８】
制御用コンピュータ２は、画像データ生成装置１からのタイミング信号に基づいてホログラフィックステレオグラムプリンタ装置３を駆動し、画像データ生成装置１で生成された画像データＤ１に基づく画像を、ホログラフィックステレオグラムプリンタ装置３の内部にセットされたホログラム用記録媒体に、短冊状の要素ホログラムとして順次記録する。
【００３９】
このとき、制御用コンピュータ２は、後述するように、ホログラフィックステレオグラムプリンタ装置３に設けられた露光用シャッタ及び記録媒体送り機構等の制御を行う。すなわち、制御用コンピュータ２は、ホログラフィックステレオグラムプリンタ装置３に制御信号を送出して、露光用シャッタの開閉や、記録媒体送り機構によるホログラム用記録媒体の送り動作などを制御する。
【００４０】
上記ホログラフィックステレオグラムプリンタ装置３について、図２を参照して詳細に説明する。なお、図２（Ａ）は、ホログラフィックステレオグラムプリンタ装置全体の光学系を上から見た図であり、図２（Ｂ）は、ホログラフィックステレオグラムプリンタ装置３の光学系の物体光用の部分を横から見た図である。
【００４１】
ホログラフィックステレオグラムプリンタ装置３は、図２（Ａ）に示すように、所定の波長のレーザ光を出射するレーザ光源３１と、レーザ光源３１からのレーザ光Ｌ１の光軸上に配された露光用シャッタ３２及びハーフミラー３３とを備えている。
【００４２】
露光用シャッタ３２は、制御用コンピュータ２によって制御され、ホログラム用記録媒体３０を露光しないときには閉じられ、ホログラム用記録媒体３０を露光するときに開かれる。また、ハーフミラー３３は、露光用シャッタ３２を通過してきたレーザ光Ｌ２を、参照光と物体光とに分離するためのものであり、ハーフミラー３３によって反射された光Ｌ３が参照光となり、ハーフミラー３３を透過した光Ｌ４が物体光となる。
【００４３】
ハーフミラー３３によって反射された光Ｌ３の光軸上には、参照光用の光学系として、シリンドリカルレンズ３４と、参照光を平行光とするためのコリメータレンズ３５と、コリメータレンズ３５によって平行光とされた光を反射する全反射ミラー３６とがこの順に配置されている。
【００４４】
そして、ハーフミラー３３によって反射された光は、先ず、シリンドリカルレンズ３４によって発散光とされ、次に、コリメータレンズ３５によって平行光とされる。その後、全反射ミラー３６によって反射され、ホログラム用記録媒体３０に入射する。
【００４５】
一方、ハーフミラー３３を透過した光Ｌ４の光軸上には、図２（Ａ）及び図２（Ｂ）に示すように、物体光用の光学系として、ハーフミラー３３からの透過光を反射する全反射ミラー３８と、凸レンズとピンホールを組み合わせたスペーシャルフィルタ３９と、物体光を平行とするためのコリメータレンズ４０と、記録対象の画像を表示する表示装置４１と、物体光をホログラム用記録媒体３０上に集光させるシリンドリカルレンズ４２とがこの順に配置されている。
【００４６】
そして、ハーフミラー３３を透過した光Ｌ４は、全反射ミラー３８によって反射された後、スペーシャルフィルタ３９によって点光源からの拡散光とされ、次に、コリメータレンズ４０によって平行光とされ、その後、表示装置４１に入射する。ここで、表示装置４１は、例えば液晶パネルからなる透過型の画像表示装置であり、画像データ生成装置１から送られた画像データＤ１に基づく画像を表示する。そして、表示装置４１を透過した光は、表示装置４１に表示された画像に応じて変調された後、シリンドリカルレンズ４２に入射する。
【００４７】
そして、表示装置４１を透過した光は、シリンドリカルレンズ４２により横方向に集束され、この集束光が物体光としてホログラム用記録媒体３０に入射する。すなわち、このホログラフィックステレオグラムプリンタ装置３では、表示装置４１からの投影光が短冊状の物体光としてホログラム用記録媒体３０に入射する。
【００４８】
ここで、参照光及び物体光は、参照光がホログラム用記録媒体３０の一方の主面に入射し、物体光がホログラム用記録媒体３０の他方の主面に入射するようにする。すなわち、ホログラム用記録媒体３０の一方の主面に、参照光を所定の入射角度にて入射させるとともに、ホログラム用記録媒体３０の他方の主面に、物体光をホログラム用記録媒体３０に対して光軸がほぼ垂直となるように入射させる。これにより、参照光と物体光とがホログラム用記録媒体３０上において干渉し、当該干渉によって生じる干渉縞が、ホログラム用記録媒体３０に屈折率の変化として記録される。
【００４９】
また、このホログラフィックステレオグラムプリンタ装置３は、制御用コンピュータ２の制御のもとに、ホログラム用記録媒体３０を間欠送りし得る記録媒体送り機構４３を備えている。この記録媒体送り機構４３は、記録媒体送り機構４３に所定の状態でセットされたホログラム用記録媒体３０に対して、画像データ生成装置１で生成された画像データＤ１に基づく１つの画像が１つの要素ホログラムとして記録される毎に、制御用コンピュータ２からの制御信号に基づいて、ホログラム用記録媒体を１要素ホログラム分だけ間欠送りする。これにより、画像データ生成装置１で生成された画像データＤ１に基づく画像が、要素ホログラムとして、ホログラム用記録媒体３０に横方向に連続するように順次記録される。
【００５０】
なお、上記ホログラフィックステレオグラムプリンタ装置３において、ハーフミラー３３によって反射されホログラム用記録媒体３０に入射する参照光の光路長と、ハーフミラー３３を透過し表示装置４１を介してホログラム用記録媒体３０に入射する物体光の光路長とは、ほぼ同じ長さとすることが好ましい。これにより、参照光と物体光との干渉性が高まり、ホログラフィックステレオグラムの画質が向上する。
【００５１】
また、上記ホログラフィックステレオグラムプリンタ装置３において、ホログラフィックステレオグラムの画質を向上させるために、物体光の光路上に拡散板を配してもよい。物体光の光路上に拡散板を配することにより、物体光に含まれるノイズ成分が分散され、また、ホログラム用記録媒体に入射する物体光の光強度分布がより均一になり、作成されるホログラフィックステレオグラムの画質が向上する。
【００５２】
ただし、このように拡散板を配するときは、拡散板とホログラム用記録媒体３０の間に、要素ホログラムの形状に対応した短冊状の開口部が形成されたマスクを配することが好ましい。このようにマスクを配することにより、拡散板によって拡散された物体光のうち、余分な部分がマスクによって遮られることとなり、より高画質なホログラフィックステレオグラムを作成することが可能となる。
【００５３】
また、上記ホログラフィックステレオグラムプリンタ装置３では、ホログラフィックステレオグラムに縦方向の視野角を持たせるために、物体光の光路上に、物体光を縦方向に拡散させる１次元拡散板を配してもよい。物体光の光路上に１次元拡散板を配することにより、物体光が縦方向、すなわち作成される要素ホログラムの長軸方向に拡散され、これにより、作成されるホログラフィックステレオグラムは縦方向の視野角を有することとなる。
【００５４】
ただし、このように１次元拡散板を配するときは、ホログラム用記録媒体３０と１次元拡散板の間に、微細な簾状の格子を有するルーバーフィルムを配することが好ましい。このようにルーバーフィルムを配することにより、ホログラム用記録媒体３０を透過した参照光が１次元拡散板によって反射されて、再びホログラム用記録媒体３０に入射するのを防ぐことができる。
【００５５】
つぎに、上記ホログラフィックステレオグラム作成システムの動作について説明する。
【００５６】
ホログラフィックステレオグラムを作成する際、画像データ生成装置１は、ホログラフィックステレオグラムプリンタ装置３の表示装置４１に画像データＤ１を送出し、当該画像データＤ１に基づく露光用画像を表示装置４１に表示させる。このとき、画像データ生成装置１は、画像データＤ１をホログラフィックステレオグラムプリンタ装置３の表示装置４１に送出したことを示すタイミング信号を、制御用コンピュータ２に送出する。
【００５７】
そして、上記タイミング信号を受け取った制御用コンピュータ２は、露光用シャッタ３２に制御信号を送出し、所定時間だけ露光用シャッタ３２を開放させる。これにより、ホログラム用記録媒体３０が露光される。
【００５８】
このとき、レーザ光源３１から出射され露光用シャッタ３２を透過したレーザ光Ｌ２のうち、ハーフミラー３３によって反射された光Ｌ３が、参照光としてホログラム用記録媒体３０に入射する。また、ハーフミラー３３を透過した光Ｌ４が、表示装置４１に表示された画像が投影された投影光となり、当該投影光が物体光としてホログラム用記録媒体３０に入射する。これにより、表示装置４１に表示された露光用画像が、ホログラム用記録媒体３０に短冊状の要素ホログラムとして記録される。
【００５９】
そして、ホログラム用記録媒体３０への１画像の記録が終了すると、次いで、制御用コンピュータ２は、記録媒体送り機構４３に制御信号を送出し、ホログラム用記録媒体３０を１要素ホログラム分だけ送らせる。
【００６０】
以上の動作を、表示装置４１に表示させる露光用画像を視差画像列順に順次変えて繰り返す。これにより、画像データ生成装置１によって生成された画像データに基づく露光用画像が、ホログラム用記録媒体３０に短冊状の要素ホログラムとして順次記録される。
【００６１】
なお、このように要素ホログラムを順次記録する際、記録媒体送り機構４３でホログラム用記録媒体を送ったときに、ホログラム用記録媒体３０が若干振動する場合がある。このような場合は、ホログラム用記録媒体３０を送る毎に振動がおさまるのを待ち、振動がおさまった後に要素ホログラムを記録するようにする。
【００６２】
以上のように、このホログラフィックステレオグラム作成システムでは、画像データ生成装置１によって生成された画像データに基づく複数の露光用画像が表示装置４１に順次表示されるとともに、各画像毎に露光用シャッタ３２が開放され、各画像がそれぞれ短冊状の要素ホログラムとしてホログラム用記録媒体３０に順次記録される。このとき、ホログラム用記録媒体３０は、１画像毎に１要素ホログラム分だけ送られるので、各要素ホログラムは、横方向に連続して並ぶこととなる。これにより、横方向の視差情報を含む複数の画像からなる視差画像列が、横方向に連続した複数の要素ホログラムとしてホログラム用記録媒体３０に記録され、横方向の視差を有するホログラフィックステレオグラムが得られる。
【００６３】
つぎに、以上のようなホログラフィックステレオグラム作成システムで使用される画像データ生成装置１について詳細に説明する。
【００６４】
上記画像データ生成装置１は、ホログラフィックステレオグラムの元となる複数の画像である視差画像列を撮影するための撮影装置を備えている。
【００６５】
撮影装置によって視差画像を撮影する方法には様々な方法があるが、例えば、図３に示すように、被写体５０を固定しておき、当該被写体５０を撮影するカメラ５１を平行に移動させて、異なる位置から被写体５０を多数撮影するようにする。すなわち、１枚の画像を撮影する毎に、図３中矢印Ａ１で示すように、カメラ５１を平行に所定ピッチだけ一定方向に移動させる。これにより、横方向の視差を有する視差画像列が得られる。
【００６６】
なお、視差画像列の撮影には、図１６に示したようなstraight Track方式を採用しても良いが、本例では、図３に示すように、被写体５０の像が画面の中心に常に位置するように、撮影する位置に合わせてカメラ５１のレンズ５２を移動させて撮影するものとする。このように被写体５０の像が画面の中心に常に位置するように撮影する方式は、re-centering方式と称される。
【００６７】
そして、実際に視差画像列を生成する際は、１枚の画像を撮影する毎に、カメラ５１を所定ピッチずつ移動させることによって、被写体５０に対するカメラ５１の視点を連続的に変えて、例えば５００〜１０００枚程度の画像を撮影する。これにより、横方向の視差を有する多数の画像からなる視差画像列が得られる。
【００６８】
なお、上述の方法は実写による視差画像列の生成法であるが、ホログラフィックステレオグラムの作成に使用する視差画像列は、コンピュータグラフィックスを用いて生成することもできる。この場合は、例えば、コンピュータグラフィックス空間内において仮想的に被写体とカメラを配置し、当該カメラを図３に示した例と同様に平行に移動させて、異なる位置から見た被写体の画像を多数撮影するようにする。換言すれば、カメラの視点を所定のピッチにて移動させていき、それらの視点から見た被写体の画像をそれぞれレンダリングして、視点の異なる複数の画像のデータを生成する。このようにしても、実写によって生成した視差画像列と同様な視差画像列を得ることができる。
【００６９】
ところで、図３のように撮影した視差画像列をそのまま用いて作成したホログラフィックステレオグラムでは、撮影時におけるカメラ５１の視点と被写体５０との位置関係が、作成されたホログラフィックステレオグラムの再生像に対しても保持される。したがって、上述のように撮影された視差画像列をそのまま用いてホログラフィックステレオグラムを作成すると、図１７に示したように、再生像ＺがホログラフィックステレオグラムＨのホログラム面Ｈａよりも、視差画像列撮影時の撮影距離の分だけ奥に結像してしまう。そのため、このようなホログラフィックステレオグラムＨでは、再生像Ｚと観察者の視点Ｓとの距離ｄ０が撮影時における被写体５０からカメラ５１までの距離に一致するように、視点Ｓをホログラム面Ｈａにおいて再生像Ｚを見ない限り、再生像Ｚに歪みやぼけが生じてしまう。
【００７０】
特に白色光によって再生される白色再生ホログラフィックステレオグラムでは、再生像Ｚの結像位置がホログラム面Ｈａから遠ざかるほど、再生像Ｚがぼける性質があるため、上述のように再生像Ｚがホログラム面Ｈａよりも奥に結像してしまうと、再生像Ｚがひどくぼけたものとなってしまう。
【００７１】
そこで、画像データ処理装置１は、上述のように得られた視差画像列に対して視点変換処理を施して、図１８に示したように、再生像Ｚがホログラム面Ｈａの近傍に結像するようにする。すなわち、再生像ＺがホログラフィックステレオグラムＨのホログラム面Ｈａの近傍に定位するように、画像データ処理装置１によって視差画像列に対して視点変換処理を施し、当該視点変換処理が施された視差画像列を用いてホログラフィックステレオグラムを作成するようにする。
【００７２】
このような視点変換処理を施すことにより、図１８に示したように、再生像Ｚがホログラム面Ｈａの近傍に定位するようになり、ホログラム面Ｈａから離れた位置に視点Ｓをおいても、歪みやぼけの少ない明瞭な再生像が得られるようになる。
【００７３】
以下、このような視点変換処理の具体例について、図４及び図５を参照して詳細に説明する。なお、図４及び図５は、re-centering方式によって撮影されたｍ枚の画像からなる視差画像列（以下、元視差画像列と称する。）に対して視点変換処理を施して、ｎ枚の画像からなる新たな視差画像列（以下、露光用視差画像列と称する。）を再構成する原理を説明するための図である。
【００７４】
ここで、露光用視差画像列は、ホログラフィックステレオグラムの作成に使用される視差画像列である。すなわち、ホログラフィックステレオグラム作成システムは、視点変換処理が施されてなる露光用視差画像列の各画像を、上述したように表示装置４１に順次表示させていき、ホログラフィックステレオグラムを作成する。
【００７５】
なお、ここでは、上述したre-centering方式によって撮影された視差画像列（すなわち元視差画像列）に対して視点変換処理を施して、新たな視差画像列（すなわち露光用視差画像列）を作成する例を挙げるが、本発明において、視点変換処理の手法は、以下の例に限定されるものではなく、視点変換処理の対象となる視差画像列に応じて、適切な手法を適宜適用可能であることは言うまでもない。
【００７６】
図４において、g11,g12,・・・,g1mは、元視差画像列を構成する各画像を表しており、これらの画像g11,g12,・・・,g1mからなる元視差画像列のことをＧＤとして示している。また、g21,g22,・・・,g2nは、露光用視差画像列を構成する各画像を表しており、これらの画像g21,g22,・・・,g2nからなる露光用視差画像列のことをＧＥとして示している。
【００７７】
そして、図４は、視差方向の長さがＬｅのホログラフィックステレオグラムＨの各露光点ep1,ep2,・・・,epnと、露光用視差画像列ＧＥを構成する各画像g21,g22,・・・,g2nと、元視差画像列ＧＤを構成する各画像g11,g12,・・・,g1mとの位置関係を示している。ここで、ホログラフィックステレオグラムＨの各露光点ep1,ep2,・・・,epnには、露光用視差画像列ＧＥを構成する各画像g21,g22,・・・,g2nがそれぞれ要素ホログラムとして記録されることとなる。
【００７８】
なお、図４では、説明の便宣上、露光点としてep1,ep2,epnの３点のみを示しているが、当然の事ながら、このホログラフィックステレオグラムＨにはｎ個の露光点が存在しており、露光用視差画像列ＧＥを構成するｎ枚の画像g21,g22,・・・,g2nが、それぞれ異なる露光点において要素ホログラムとして記録される。
【００７９】
ここで、露光点の数は、露光用視差画像列ＧＥを構成する画像の数ｎに相当する。そして、この露光点の数は、ホログラフィックステレオグラムＨの横サイズＬｅと、露光点のピッチΔＬｅとに依存しており、これらの関係は、下記式（１）で表される。
【００８０】
Ｌｅ＝ｎ×ΔＬｅ ・・・（１）
すなわち、例えば、ホログラフィックステレオグラムＨの横サイズＬｅを１０ｃｍとし、露光ピッチを０．２ｍｍの等ピッチとした場合、露光点の数は５００箇所となる。
【００８１】
なお、露光点のピッチΔＬｅは、換言すれば要素ホログラムのピッチのことであり、これは、ホログラフィックステレオグラムＨの解像度を規定するパラメータの一つとなる。すなわち、露光点のピッチΔＬｅが小さいほど、高解像度のホログラフィックステレオグラムが得られる。
【００８２】
また、図４において、ΔＬｃは、元視差画像列ＧＤの撮影時における各画像撮影毎のカメラ５１の移動量（以下、カメラ移動ピッチと称する。）を示している。また、Ｌｃは、元視差画像列ＧＤの撮影時におけるカメラ５１の移動量の合計（以下、撮影幅と称する。）を示している。また、ｄｆは、元視差画像列ＧＤの撮影時におけるカメラ５１と被写体５０との間の距離（以下、撮影距離と称する。）を示している。また、ｄＶは、ホログラフィックステレオグラムＨの観察者の視点Ｓとホログラム面Ｈａとの間の距離（以下、視点距離と称する。）を示している。
【００８３】
なお、露光点のピッチΔＬｅと、カメラ移動ピッチΔＬｃとは、等しくなるようにしてもよいが、必ずしも等しくなるようにする必要はない。一方、視点距離ｄＶと撮影距離ｄｆは、等しくしておく。
【００８４】
そして、ホログラフィックステレオグラムＨの各露光点には、露光用視差画像列ＧＥを構成する画像g21,g22,・・・,g2nが、所定の露光角度θｅをもってそれぞれ露光される。
【００８５】
ここで、元視差画像列ＧＤを構成する各画像g11,g12,・・・,g1m、並びに露光用視差画像列ＧＥを構成する各画像g21,g22,・・・,g2nの解像度は、縦方向に６４０[pixel]であり、横方向（視差方向）に４８０[pixel]であるとする。なお、ここでは、これらの画像が、６４０[pixel]×４８０[pixel]の解像度を持つ場合を例に挙げるが、本発明において、これらの画像を構成する画素の数は任意であり、本例に限定されるものではない。
【００８６】
そして、視点変換処理では、元視差画像列ＧＤを構成する各画像g11,g12,・・・,g1mから、視点位置を変換した複数の画像を再構成し、露光用視差画像列ＧＥを生成する。具体的には、元視差画像列ＧＤを構成する各画像g11,g12,・・・,g1mの画素と、露光用視差画像列ＧＥを構成する各画像g21,g22,・・・,g2nの画素との対応関係を予め求めておき、この対応関係を示すルックアップテーブルを作成しておく。そして、このルックアップテーブルに基づいて画素の入れ替えを行うことにより視点変換処理を行い、元視差画像列ＧＤの各画像g11,g12,・・・,g1mから、露光用視差画像列ＧＥの各画像g21,g22,・・・,g2nを再構成する。
【００８７】
ここで、画素の入れ替えは、縦６４０[pixel]，横１[pixel]のスリット状の画素列を最小単位として行う。すなわち、視点変換処理では、元視差画像列ＧＤを構成する各画像g11,g12,・・・,g1mから、画素列単位で必要な画素を抽出して、新たな画像g21,g22,・・・,g2nを再構成する。このように、複数の画素をまとめて扱って画素の入れ替えを行うことで、各画素を個別に取り扱うよりも、視点変換処理に要する処理を大幅に削減することができる。しかも、縦６４０[pixel]，横１[pixel]のスリット状の画素列は、視差情報の最小単位であるので、このように画素列単位で画素の入れ替えを行うようにしても、視差情報が失われるようなことはない。
【００８８】
このような視点変換処理について、図５を参照してさらに詳しく説明する。図５は、露光用視差画像列ＧＥを構成する画像のうちの一つである画像g21を取り出し、当該画像g21を元視差画像列ＧＤから再構成する様子を示している。
【００８９】
画像g21の再構成を行う際は、図５に示すように、まず、画像g21がホログラフィックステレオグラムＨから視点距離ｄＶだけ離れた平面ＤＶ上にあると仮定する。ここで、画像g21は、当該画像g21に対応する露光点ep1に対して所定の画角θｅを持つ。
【００９０】
また、元視差画像列ＧＤを構成する各画像g11,g12,・・・,g1mが、画像g21から撮影距離ｄｆだけ離れた平面ＤＤ上にあると仮定する。ここで、元視差画像列ＧＤを構成する各画像g11,g12,・・・,g1mは、被写体５０の撮影時の視点位置に対応するように、平面ＤＤ上に配する。
【００９１】
そして、画像g21に対応する露光点ep1と、画像g21上のサンプリング点mp11,mp12,・・・,mp1kとをそれぞれ結ぶ直線L1,L2,・・・,Lk（以下、マッピングラインL1,L2,・・・,Lkと称する。）を考える。ここで、これらのサンプリング点mp11,mp12,・・・,mp1kは、画像g21を構成する画素列にそれぞれ相当しており、画像g21におけるサンプリング点の数ｋは、画像g21の横方向（すなわち視差方向）の画素数に相当する。したがって、例えば、画像g21が縦６４０[pixel]，横４８０[pixel]からなる場合、ｋ＝４８０である。
【００９２】
そして、上記マッピングラインL1,L2,・・・,Lkに基づいて、元視差画像列ＧＤを構成する画像g11,g12,・・・,g1mの中から、各サンプリング点毎にそれらのサンプリング点mp11,mp12,・・・,mp1kにおける視点に最も近い視点をもつ画像を選択し、更に選択された画像の中から最も近い視点をもつ画素列を選択する。
【００９３】
例えば、サンプリング点mp11について考えると、先ず、元視差画像列ＧＤを構成する画像g11,g12,・・・,g1mの中から、サンプリング点mp11における視点に最も近い視点をもつ画像g11を選択する。次に、露光点ep1とサンプリング点mp11を結ぶマッピングラインL1を平面ＤＤにまで延長し、画像g11のサンプリング点op11,op12,・・・,op1jの中から、上記マッピングラインL1と平面ＤＤとが交わる点に最も近いサンプリング点op1jを選択する。そして、このように選択されたサンプリング点opj1に位置する画素列を画像g11から抽出し、当該画素列を画像g21のサンプリング点mp11にマッピングする。
【００９４】
なお、図５の例では、元視差画像列ＧＤを構成する各画像g11,g12,・・・,g1mには、それぞれｊ個のサンプリング点が存在するものとしている。すなわち、例えば、元視差画像列ＧＤを構成する画像g11には、サンプリング点op11,op12,・・・,op1jが存在し、画像g12には、サンプリング点op21,op22,・・・,op2jが存在し、その他の画像についても、同様にｊ個のサンプリング点が存在する。そして、これらのサンプリング点は、各画像g11,g12,・・・,g1mの画素列にそれぞれ相当しており、各画像におけるサンプリング点の数ｊは、各画像の横方向（すなわち視差方向）の画素数に相当している。したがって、例えば、各画像g11,g12,・・・,g1mが縦６４０[pixel]，横４８０[pixel]からなる場合、ｊ＝４８０である。
【００９５】
そして、以上のようなマッピング処理を、画像g21の他のサンプリング点mp12,・・・,mp1kについても同様に行うことにより、１枚の新たな画像g21が再構成される。そして、更に同様な処理を他の露光点ep2,op3,・・・,epnについても行うことで、それぞれの露光点に対応した画像g22,g23,・・・,g2nを再構成する。これにより、視点変換処理が施され再構成されてなる視差画像列、すなわち露光用視差画像列ＧＥが得られる。
【００９６】
そして、このようにして得られた露光用視差画像列ＧＥを構成する各画像g21,g22,・・・,g2nを、上述したように、表示装置４１に順次に表示して、ホログラム用記録媒体３０にスリット状の要素ホログラムとしてそれぞれ記録することにより、ホログラフィックステレオグラムが作成される。
【００９７】
このようにして作成されたホログラフィックステレオグラムは、視点変換処理により視点位置がホログラム面上から観察者側に視点距離ｄＶだけ移動し、それに伴って、再生像も視点距離ｄＶの分だけ観察者側に移動してホログラム面上付近に定位する。したがって、このホログラフィックステレオグラムでは、歪みやぼけの少ない再生像を得ることができる。
【００９８】
ところで、以上のような視点変換処理は、元視差画像列ＧＤを撮影する際のパラメータ（撮影距離等）や、作成するホログラフィックステレオグラムのパラメータ（露光ピッチ等）が一定であれば、元視差画像列ＧＤにかかわらず、常に同じように画素の入れ替えを行うことで実現される。
【００９９】
したがって、元視差画像列ＧＤを構成する各画像の画素と、露光用視差画像列ＧＥを構成する各画像の画素との対応関係を予め計算しておき、それらの対応関係をルックアップテーブルとして保存しておけば、視点変換処理を行う毎に煩雑な計算を行うことなく、単にルックアップテーブルに基づいて画素の入れ替えを行うだけで、視点変換処理を行うことができる。
【０１００】
特に、水平視差のみを持つ視差画像列に対する視点変換処理では、画素列毎の対応関係をルックアップテーブルに保存しておけばよく、この場合は、当該ルックアップテーブルに基づいて画素列単位での入れ替えを行うだけで、露光用視差画像列ＧＥを得ることができる。
【０１０１】
そこで、本発明を適用したホログラフィックステレオグラム作成システムでは、画像データ生成装置１にルックアップテーブル格納手段を設け、当該ルックアップテーブル格納手段にルックアップテーブルを格納しておき、当該ルックアップテーブルを参照して視点変換処理を行うようにしている。
【０１０２】
以下、このような視点変換処理を行う画像データ生成装置１の詳細な構成を含めて、ホログラフィックステレオグラム作成システムについて、更に詳細に説明する。
【０１０３】
ホログラフィックステレオグラム作成システムは、図１に示したように、画像データ生成装置１と、制御用コンピュータ２と、ホログラフィックステレオグラムプリンタ装置３とを備えており、これらの内部は、図６に示すような構成とされている。
【０１０４】
図６に示すように、画像データ生成装置１は、視差画像列を撮影するための視差画像列撮影システム６１と、視差画像列撮影システム６１によって撮影された視差画像列に対して視点変換処理を施す画像データ処理部６２とを備えている。
【０１０５】
そして、視差画像列撮影システム６１は、上述したように移動操作されて視差画像列を撮影するカメラ５１と、カメラ５１を制御するカメラコントローラ６３とを備えている。ここで、カメラ５１は、例えば、感光部に電荷結合素子（ＣＣＤ：Charge Coupled Device）を用いたスチルカメラやビデオカメラ等が好適である。一方、画像データ処理部６２は、Ｄ１デコーダ６４と、視点変換処理を行う処理装置が組み込まれた画像処理ボード６５とを備えている。
【０１０６】
この画像データ生成装置１において、視差画像列撮影システム６１は、制御用コンピュータ２からの制御信号に基づいて、カメラコントローラ６３によってカメラ５１を制御して、図３に示したように視差画像列を撮影し、当該視差画像列を構成する各画像の信号を画像データ処理部６２のＤ１デコーダ６４へ送出する。すなわち、視差画像列撮影システム６１は、カメラコントローラ６３による制御により、カメラ５１を移動させながら当該カメラ５１によって多数の画像を撮影することにより、視差画像列（すなわち元視差画像列ＧＤ）の撮影を行う。
【０１０７】
そして、この視差画像列撮影システム６１は、カメラ５１によって画像を撮影する毎に、当該画像の信号をカメラ５１から画像データ処理部６２のＤ１デコーダ６４へと出力する。ここで、カメラ５１は、視差画像列を構成する各画像の信号を、例えばＮＴＳＣ方式のビデオ信号として、Ｄ１デコーダ６４に供給する。
【０１０８】
Ｄ１デコーダ６４は、カメラ５１から送られてきた画像信号をデジタル化し、更にＤ１フォーマットに変換する。これにより、画像信号はＹＵＶ４２２信号に変換され、クロマ成分のデータ量が約１／２とされる。そして、Ｄ１デコーダ６４によってＤ１フォーマットとされた画像データは、画像処理ボード６５に送られる。
【０１０９】
このように、Ｄ１デコーダ６４でＤ１フォーマットに変換した上で画像データを画像処理ボード６５に供給するようにすることで、画像処理ボード６５に入力される画像データ量を低減することができ、画像処理ボード６５に必要とされるメモリの容量を抑えることができる。
【０１１０】
なお、ここでは視点変換処理の対象となる画像データのデータ量を抑えるためにＤ１フォーマットを採用しているが、当然の事ながら、他のデジタル画像信号フォーマットを採用することも可能であることは言うまでもない。
【０１１１】
そして、画像処理ボード６５は、制御用コンピュータ２による制御のもとで、Ｄ１フォーマットとされた画像データに対して視点変換処理を施して、視点変換処理が施された新たな視差画像列、すなわち露光用視差画像列ＧＥを生成する。そして、画像処理ボード６５は、制御用コンピュータ２による制御に基づいて、露光用視差画像列ＧＥを構成する各画像のデータを、ホログラフィックステレオグラムプリンタ装置３による要素ホログラムの記録タイミングに同期させて、ホログラフィックステレオグラムプリンタ装置３の表示装置４１に供給する。
【０１１２】
ここで、ホログラフィックステレオグラムプリンタ装置３は、表示装置４１と、プリンタコントローラ６６と、プリンタコントローラ６６によって制御されるプリンタシステム６７とを備えている。なお、ここでは、上述した露光用シャッタ３２や記録媒体送り機構４３のようにホログラフィックステレオグラム作成時に駆動される機構全体をまとめてプリンタシステム６７と称している。
【０１１３】
そして、このホログラフィックステレオグラムプリンタ装置３は、画像処理ボード６５から送られてくる画像データに基づいて、露光用視差画像列ＧＥを構成する各画像を表示装置４１に順次表示する。そして、ホログラフィックステレオグラムプリンタ装置３は、制御用コンピュータ２による制御に基づいて、プリンタコントローラ６６によってプリンタシステム６７を制御し、表示装置４１への画像表示のタイミングに同期させて、ホログラム用記録媒体３０に要素ホログラムを順次記録していく。これにより、露光用視差画像列ＧＥを構成する各画像がそれぞれ要素ホログラムとしてホログラム用記録媒体３０に記録され、ホログラフィックステレオグラムが作成される。
【０１１４】
つぎに、画像処理ボード６５の構成について、図７を参照して更に詳細に説明する。
【０１１５】
この画像処理ボード６５は、視差画像列を構成する各画像のデータを、例えばＮＴＳＣのビデオレートで順次格納するフレームメモリ７１と、視点変換処理の際に参照されるルックアップテーブルが格納されるルックアップテーブル用メモリ７２などから構成されている。
【０１１６】
フレームメモリ７１には、データの書き込み及び読み出しの速度が十分に速いものを用いたほうが好ましく、具体的には例えば、Fast page modeのＤＲＡＭ（Dynamic Random Access Memory）が好適である。このフレームメモリ７１に画像データを格納する際は、制御用コンピュータ２とのインターフェースを制御するボードコントローラ７３を介して、制御用コンピュータ２からの制御信号が、フレームメモリ７１への画像データの書き込みを制御するライトコントローラ（Write Controller）７４に送られる。そして、ライトコントローラ７４は、制御用コンピュータ２からの制御信号に基づいてフレームメモリ７１を駆動し、これにより、Ｄ１デコーダ６４からＩ／Ｏコントローラ７５を介して送られてきた画像データが、フレームメモリ７１に順次書き込まれる。
【０１１７】
ルックアップテーブル用メモリ７２は、視点変換処理の際に参照されるルックアップテーブルが格納されるルックアップテーブル格納手段である。このルックアップテーブル用メモリ７２には、読み出し速度が十分に速いものを用いたほうが好ましく、具体的には例えば、ＳＲＡＭ（Static Random Access Memory）が好適である。そして、このルックアップテーブル用メモリ７２には、視点変換処理を行う前の視差画像列である元視差画像列ＧＤを構成する各画像の画素と、視点変換処理を施した後の新たな視差画像列である露光用視差画像列ＧＥを構成する各画像の画素との対応関係を示すテーブルであるルックアップテーブルが格納される。
【０１１８】
なお、ここでは、視差画像列が水平視差のみを持つものとして、ルックアップテーブルには、各画素単位の対応関係ではなく、画素列を単位とした対応関係を記録しておくものとする。すなわち、ルックアップテーブルには、元視差画像列ＧＤを構成する各画像の画素と、露光用視差画像列ＧＥを構成する各画像の画素との対応関係を、一列に並んだ複数の画素からなる画素列を最小単位として記録しておくものとする。
【０１１９】
そして、この画像処理ボード６５は、元視差画像列ＧＤを構成する画像の全データが上述のようにフレームメモリ７１に格納された後、上述したような視点変換処理を行って、露光用視差画像列ＧＥを構成する各画像のデータを順次生成し、当該画像のデータを順次出力する。
【０１２０】
ここで、視点変換処理は、煩雑な演算処理を行うことなく、単に画素列を入れ替えることにより行う。すなわち、ここでの視点変換処理は、ルックアップテーブルに基づいて、元視差画像列ＧＤを構成する画像のデータの中から、露光用視差画像列ＧＥを構成する画像のデータを画素列単位で抽出して、新たな画像のデータを再構成することにより行う。
【０１２１】
具体的には、視点変換処理を行う際に、先ず、ボードコントローラ７３を介して、制御用コンピュータ２からの制御信号が、フレームメモリ７１からの画像データの読み出しを制御するリードコントローラ（Read Controller）７６に送られる。そして、リードコントローラ７６は、制御用コンピュータ２からの制御信号に基づいて、フレームメモリ７１に格納されている画像データの中から、露光用視差画像列ＧＥを構成する画像のデータを画素列単位で選択し、当該画像データをフレームバッファ７７に書き込んでいく。このとき、リードコントローラ７６は、ルックアップテーブル用メモリ７２に格納されたルックアップテーブルを参照し、当該ルックアップテーブルに基づいて、フレームバッファ７７に書き込む画像データの選択を行う。
【０１２２】
なお、リードコントローラ７６とフレームメモリ７１の間には、フレームメモリ７１に格納された画像データの中から、対象となるデータを画面単位で選択するフレームセレクタ７８と、対象となるデータを走査線単位で選択するラインセレクタ７９と、対象となるデータを画素単位で選択するピクセルセレクタ８０とが配されている。そして、フレームメモリ７１からデータを読み出す際は、フレームセレクタ７８、ラインセレクタ７９及びピクセルセレクタ８０によって、対象となるデータが選択される。
【０１２３】
そして、フレームメモリ７１から画素列単位で読み出された画像データは、フレームバッファ７７に１画面分格納される。そして、フレームバッファ７７は、当該フレームバッファ７７に格納された画像データを、制御用コンピュータ２からボードコントローラ７３を介して送られてきた制御信号に基づいて、Ｉ／Ｏコントローラ７５を介して、ホログラフィックステレオグラムプリンタ装置３の表示装置４１に供給する。これにより、表示装置４１に、視点変換処理が施され再構成された画像が表示される。その後、上述したようにホログラフィックステレオグラムプリンタ装置３のプリンタシステム６７を駆動することにより、当該画像がホログラム用記録媒体３０に要素ホログラムとして記録される。
【０１２４】
そして、以上のような新たな画像の再構成と、当該画像の表示装置４１への表示とを、要素ホログラムの記録のタイミングに合わせて、露光用視差画像列ＧＥを構成する各画像分だけ順次行うことにより、ホログラフィックステレオグラムが作成される。
【０１２５】
以上のような画像処理ボード６５でのデータ処理について、図８のタイミングチャートを参照して更に詳細に説明する。なお、ここでは、画像処理ボード６５からの画像データ出力が、有効解像度が６４０[pixel]×４８０[pixel]のＶＧＡ（Video Graphics Array）の場合を例に挙げる。
【０１２６】
この画像処理ボード６５には、カメラ５１による視差画像列の撮影開始と同時に、カメラ５１によって撮影された画像のデータの取り込みを指示する制御信号が制御用コンピュータ２から送られ、これにより、図８（Ａ）に示すように、画像処理ボード６５のフレームメモリ７１への画像データの書き込みが開始される。なお、図８（Ａ）は、画像処理ボード６５のフレームメモリ７１への画像データの書き込みのタイミングチャートを示している。
【０１２７】
図８（Ａ）に示すように、フレームメモリ７１への画像データの書き込み時には、視差画像列を構成する各画像のデータがカメラ５１によって撮影された順に、例えばＮＴＳＣのビデオレートにて、フレームメモリ７１に格納される。なお、図８（Ａ）において、frameorg1,frameorg2,・・・ ,frame org 480は、フレームメモリ７１に格納される画像データのフレーム番号を示しており、line1,line2,・・・,line480は各画像の走査線番号を示しており、p1,p2,・・・,p640は、１走査線上における各画素を示している。
【０１２８】
なお、Ｄ１フォーマットでは、１フレームあたりの有効解像度は７２０[pixel]×４８５[pixel]であるが、画像処理ボード６５からの画像データ出力がＶＧＡであるので、ここでは、Ｄ１デコーダ６４から送られてきた画像データに対して解像度変換を施して、６４０[pixel]×４８０[pixel]とした上で、フレームメモリ７１に書き込むようにしている。
【０１２９】
そして、カメラ５１による視差画像列の撮影が完了し、元視差画像列ＧＤのデータが全て画像処理ボード６５に送られたら、カメラ５１によって撮影された画像のデータの取り込み終了を指示する制御信号が制御用コンピュータ２から画像処理ボード６５に送られ、これにより、画像データのフレームメモリ７１への書き込みが終了する。
【０１３０】
このようにして、例えば図９に示すように、複数の画像からなる元視差画像列ＧＤが、画像処理ボード６５のフレームメモリ７１に格納される。ここで、図９は、フレームメモリ７１のメモリマップの一例を示したものであり、フレームメモリ７１に格納された元視差画像列ＧＤのデータについて、フレームメモリ７１の内部における配置を示している。
【０１３１】
なお、図９に示したメモリマップでは、説明を簡単にするために、画像信号中に含まれるブランキング信号等については無視している。また、図９のメモリマップに示したメモリアドレスは一例であり、特にこれに限定されるものではなく、システム構成上扱いやすいものとすればよい。
【０１３２】
そして、画像処理ボード６５は、以上のようにフレームメモリ７１に格納された元視差画像列ＧＤのデータに対して、ルックアップテーブルをもとに視点変換処理を施す。この視点変換処理は、ルックアップテーブルをもとに、走査線上に並んだ画素列単位での画素の入れ替え処理を行うことによって実現される。すなわち、画像処理ボード６５は、ルックアップテーブルの情報をもとに、フレームセレクタ７８、ラインセレクタ７９及びピクセルセレクタ８０により、視点変換処理が施された画像を再構成するのに必要な画素列を、フレームメモリ７１に格納されている画像データから抽出して読み出していき、新たな画像を生成する。
【０１３３】
ここで、ルックアップテーブルの一例を図１０に示す。図１０に示すように、ルックアップテーブルは、新たに構成する各画像（framenew1,framenew1,・・・,framenew480）に対応する、元視差画像列ＧＤのフレーム番号（frameorg）と走査線番号（line）とが記録されてなる。
【０１３４】
そして、画像処理ボード６５は、このようなルックアップテーブルの情報をもとに、フレームメモリ７１に格納されている画像データを、画素列単位（すなわち走査線単位）にて抽出して読み出していき、新たな画像を生成する。
【０１３５】
ここで、図８（Ｂ）に、フレームメモリ７１からの画像データ読み出しのタイミングチャートの一例を示す。図８（Ｂ）では、フレームメモリ７１に格納されている画像データから、frameorg1のline1上の画素列のデータ、frameorg2のline1上の画素列のデータ、・・・・、frameorg480のline1上の画素列のデータを順次抽出して読み出すことにより、新しい画像（framenew1）のデータが再構成される例を示している。
【０１３６】
なお、図８に示したタイミングチャートや、図１０に示したルックアップテーブルに記されたフレーム番号（frameorg1,frameorg2,・・・）や走査線番号（line1,line2,・・・）は一例であって、これらは、視点変換処理のパラメータによって異なるものとなる。
【０１３７】
そして、画像処理ボード６５は、元視差画像列ＧＤのデータが格納されているフレームメモリ７１から、ルックアップテーブルに基づいて、図８（Ｂ）に示したように、画素列単位で画像データを抽出していくことにより、各走査線上の画素列の入れ替え処理を行い、視点変換処理が施された新たな画像（framenew1,framenew2,・・・）を順次再構成し出力する。
【０１３８】
ここで、画像の再構成は、前述のように要素ホログラムの記録のタイミングと同期して行うようにする。
【０１３９】
具体的には、先ず、ホログラフィックステレオグラムプリンタ装置３の露光用シャッタ３２が開放されて要素ホログラムの記録を行っている間に、１画面分の視点変換処理を行い、再構成された１画面分の画像データを、画像処理ボード６５のフレームバッファ７７に一時的に保存しておく。
【０１４０】
そして、１要素ホログラムの記録が完了して、露光用シャッタ３２が閉じられたら、フレームバッファ７７に保存しておいた画像データを表示装置４１に転送して、表示装置４１に表示する画像を更新する。また、この間にホログラム用記録媒体３０を１要素ホログラム分だけ送っておく。
【０１４１】
そして、表示装置４１に表示されている画像が更新され、且つホログラム用記録媒体３０が１要素ホログラム分だけ送られたら、再び露光用シャッタ３２を開放して、要素ホログラムの記録を行う。
【０１４２】
以上の動作を露光用視差画像列ＧＥを構成する画像の数だけ繰り返すことにより、ホログラフィックステレオグラムが作成される。
【０１４３】
このように、要素ホログラムの記録のタイミングに同期させて、画像の再構成を行うようにすることで、視差画像列の撮影後、直ぐに（実質的にほぼリアルタイムにて）ホログラフィックステレオグラムを速やかに作成することが可能となる。
【０１４４】
なお、フレームバッファ７７が無い場合には、１要素ホログラムの記録が完了して露光用シャッタ３２を閉じる毎に視点変換処理を行うようにする。すなわち、フレームバッファ７７が無い場合には、露光用シャッタ３２を閉じた後、直ぐに制御用コンピュータ２から画像処理ボード６５に対して視点変換処理の開始を指示する制御信号を送出して、ルックアップテーブルに基づく画素列単位のデータの抽出を行わせる。そして、ルックアップテーブルに基づいて抽出された画素列単位のデータ（すなわち走査線単位のデータ）を、画像処理ボード６５から表示装置４１に順次転送していく。そして、１画面分のデータが表示装置４１に転送され、表示装置４１によって表示される画像が更新されたら、再び露光用シャッタ３２を開放して、要素ホログラムの記録を行うようにする。
【０１４５】
ところで、上記画像処理ボード６５のルックアップテーブル用メモリ７２に格納しておくルックアップテーブルは、元視差画像列ＧＤを構成する各画像の画素と、露光用視差画像列ＧＥを構成する各画像の画素との対応関係をコンピュータによって予め計算して作成しておく。
【０１４６】
ここで、ルックアップテーブルの作成には、制御用コンピュータ２を用いるようにしてもよい。この場合は、ホログラフィックステレオグラムの作成を行う前に、視差画像列の撮影方式や撮影時のパラメータ（撮影距離等）、並びにホログラフィックステレオグラム作成時のパラメータ（露光ピッチ等）などから、所望する視点変換処理に対応したルックアップテーブルを制御用コンピュータ２によって作成し、当該ルックアップテーブルを、ボードコントローラ７３を介してルックアップテーブル用メモリ７２に転送しておく。
【０１４７】
なお、ルックアップテーブル用メモリ７２は、ＳＲＡＭ等のような書き換え可能な記憶装置からなることが好ましい。ルックアップテーブル用メモリ７２を書き換え可能な記憶装置としておけば、視差画像列の撮影方式や撮影時のパラメータ、或いはホログラフィックステレオグラム作成時のパラメータなどが変更となり、元視差画像列ＧＤを構成する各画像の画素と、露光用視差画像列ＧＥを構成する各画像の画素との対応関係が変わった場合に、当該対応関係を改めて計算してルックアップテーブルを作成し直して、ルックアップテーブル用メモリ７２の内容を更新することが可能となる。
【０１４８】
このようにルックアップテーブル用メモリ７２を書き換え可能としておけば、視差画像列の撮影方式や撮影時のパラメータ、或いはホログラフィックステレオグラム作成時のパラメータなどが変更となっても、ルックアップテーブル用メモリ７２に格納するルックアップテーブルを更新するだけで、共通の画像処理ボード６５を用いて視点変換処理を行うことが可能となる。換言すれば、所望する視点変換処理に応じて制御用コンピュータ２によりルックアップテーブルを作成して、ルックアップテーブル用メモリ７２に格納するルックアップテーブルの内容を更新するようにすることで、パラメータの異なる様々な視点変換処理に対応することが可能となる。
【０１４９】
なお、ルックアップテーブルは、視差画像列の撮影方式や撮影時のパラメータ、或いはホログラフィックステレオグラム作成時のパラメータなどが変更となる度にその都度計算し直すのではなく、予め様々なパラメータに対応した多数のルックアップテーブルを作成して制御用コンピュータ２に保存しておくようにしてもよい。この場合は、パラメータが変更となる毎に、対応するルックアップテーブルを制御用コンピュータ２からルックアップテーブル用メモリ７２に転送して、ルックアップテーブル用メモリ７２に格納するルックアップテーブルの内容を更新するようにする。これにより、パラメータの変更に速やかに対応することが可能となる。
【０１５０】
ところで、上述したように走査線上の画素列単位で画素の入れ替えを行うことにより視点変換処理を行うにあたって、元視差画像列ＧＤが走査線方向に視差情報を有する場合には、元視差画像列ＧＤを構成する各画像を９０度回転変換した上で、視点変換処理を行うようにする。
【０１５１】
具体的には、例えば、上述した画像データ生成装置１において、Ｄ１デコーダ６４と画像処理ボード６５との間に、画像を＋９０度回転させる処理を行う画像回転処理回路を配するとともに、画像処理ボード６５のフレームバッファ７１とＩ／Ｏコントローラ７５との間に、画像を−９０度回転させる処理を行う画像回転処理回路を配する。
【０１５２】
そして、画像処理ボード６５に画像データを入力する前に、元視差画像列ＧＤを構成する各画像を、画像回転処理回路によって＋９０度回転させておく。そして、画像処理ボード６５では、このように＋９０度回転変換がなされた視差画像列をもとに視点変換処理を行う。これにより、視差画像列撮影システム６１から供給される元視差画像列ＧＤが走査線方向に視差情報を有していたとしても、画像処理ボード６５では、上述の例と同様に、走査線上の画素列単位にて画素の入れ替えを行うことにより視点変換処理を行うことができる。
【０１５３】
そして、画像処理ボード６５は、このように視点変換処理が施されて生成された露光用視差画像列ＧＥのデータを、当該露光用視差画像列ＧＥを構成する各画像を画像回転処理回路によって−９０度回転させた上で、Ｉ／Ｏコントローラ７５を介して表示装置４１へ出力する。これにより、露光用視差画像列ＧＥの画像の向きが、視差画像列撮影システム６１によって撮影されたもともとの画像の向きと同一とされた上で、露光用視差画像列ＧＥの各画像が表示装置４１に順次表示される。
【０１５４】
ところで、視差画像列の撮影方法として、図１１に示すように、被写体５０を中心としてカメラ５１を回動させて、異なる方向から被写体５０を撮影することにより、視差画像列を撮影する方法もある。なお、この方法は、カメラ５１を固定しておき被写体５０を回動させて異なる方向から被写体５０を撮影することにより視差画像列を撮影する方法と等価である。
【０１５５】
このように被写体５０又はカメラ５１を回動させて視差画像列を撮影した場合、図１２（Ａ）に示すように、被写体５０の正面にカメラ５１が位置しているときは、図１２（Ｂ）に示すように、撮影された画像５５に被写体５６が歪むことなく写るが、図１３（Ａ）に示すように、被写体５０の正面にカメラ５１が位置していないときには、図１３（Ｂ）に示すように、撮影された画像５７に写る被写体５８に歪みが生じる。
【０１５６】
そこで、被写体５０又はカメラ５１を回動させて視差画像列を撮影した場合には、上述のような視点変換処理を行う際に、このような歪みの補正処理も行うことが好ましい。なお、このような歪みは、一般にキーストン歪みと称されている。
【０１５７】
このようなキーストン歪みの補正は、図１４に示すように、被写体５０の正面にカメラ５１が位置しているときを基準として、被写体５０又はカメラ５１を回動させたときの角度をθとし、被写体５０又はカメラ５１の回動中心５０ａとカメラ５１の視点位置５１ａとの間の距離をｄａとしたとき、下記式（２）で定義される比率ratioで、各縦ライン毎（すなわち画素列毎に）に縦方向に画像の拡大又は縮小を行うことにより実現できる。
【０１５８】
ratio＝｛ｄａ／（cosα＋sinα・tanθ）｝／（ｄａ／cosα）
＝１＋tanα・tanθ ・・・（２）
ただし、上記式（２）において、αは、図１４に示すように、被写体５０又はカメラ５１の回動中心５０ａと、カメラ５１の視点位置５２ａとを結ぶ仮想線をＬａとし、拡大又は縮小の対象となる画像位置Ｐａと、カメラ５１の視点位置５１ａとを結ぶ仮想線をＬｂとしたとき、仮想線Ｌａと仮想線Ｌｂとの間の角度を示している。
【０１５９】
このようにキーストン歪みを補正する際は、各画素列毎に上記比率ratioを予め求めておき、当該比率ratioに基づいて、各画素列毎に画像の拡大又は縮小処理を行うようにする。具体的には、上記ルックアップテーブルに、元視差画像列ＧＥを構成する各画像の画素列と、露光用視差画像列ＧＥを構成する各画像の画素列との対応関係のほかに、キーストン歪みを補正するための補正パラメータ（すなわち上記比率ratio）を画素列毎に記録しておく。そして、上記視点変換処理を行う際に、ルックアップテーブルに基づいて画素の入れ替えを行うとともに、当該ルックアップテーブルに含まれている上記補正パラメータに基づいて、各画素列毎に画像の拡大又は縮小処理を行うことにより、キーストン歪みの補正も行うようにする。
【０１６０】
このようにキーストン歪みの補正処理を行うことにより、被写体５０又はカメラ５１を回動させて撮影した視差画像列の画像データは、カメラ５１を平行に動かしたときに得られる画像データと同様なものとなる。したがって、このようにキーストン歪みを補正した上でホログラフィックステレオグラムを作成するようにすれば、キーストン歪みに起因する画像の乱れが生じるようなことはなくなる。
【０１６１】
【発明の効果】
以上詳細に説明したように、本発明に係る画像データ生成装置によれば、視差情報を含む複数の画像からなる視差画像列のデータに対して視点変換処理を行い新たな視差画像列のデータを生成するにあたって、新たな視差画像列のデータを速やかに生成することが可能となる。また、本発明によれば、新たな視差画像列は、ホログラフィックステレオグラムに記録される視差画像列のデータであり視差画像列を構成する各画像がホログラフィックステレオグラムを構成する要素ホログラムとしてそれぞれ記録されるものであり、各要素ホログラムを記録するタイミングに同期させて、上記視点変換処理が施された視差画像列のデータを、該新たな視差画像列を構成する各画像毎に順次出力する。したがって、本発明に係る画像データ生成装置を用いることにより、ホログラフィックステレオグラムを短時間で作成することが可能となる。
【０１６２】
また、本発明に係る画像データ生成方法によれば、視差情報を含む複数の画像からなる視差画像列のデータに対して視点変換処理を行い新たな視差画像列のデータを生成するにあたって、新たな視差画像列のデータを速やかに生成することが可能となる。また、本発明によれば、新たな視差画像列は、ホログラフィックステレオグラムに記録される視差画像列のデータであり視差画像列を構成する各画像がホログラフィックステレオグラムを構成する要素ホログラムとしてそれぞれ記録されるものであり、各要素ホログラムを記録するタイミングに同期させて、上記視点変換処理が施された視差画像列のデータを、該新たな視差画像列を構成する各画像毎に順次出力する。したがって、本発明に係る画像データ生成方法を適用することにより、ホログラフィックステレオグラムを短時間で作成することが可能となる。
【図面の簡単な説明】
【図１】 ホログラフィックステレオグラム作成システムの一構成例を示すブロック図である。
【図２】 ホログラフィックステレオグラムプリンタ装置の光学系の一構成例を示す図である。
【図３】 re-centering方式による視差画像列の撮影方法を示す模式図である。
【図４】 視点変換処理を説明するための図であり、露光用視差画像列ＧＥと元視差画像列ＧＤとの関係を示す図である。
【図５】 視点変換処理を説明するための図であり、露光用視差画像列ＧＥのうちの一つの画像g21と、元視差画像列ＧＤの各画像g11,g12,・・・,g1mとの関係を示す図である。
【図６】 図１に示したホログラフィックステレオグラム作成システムの構成を詳細に示したブロック図である。
【図７】 画像処理ボードの構成を示すブロック図である。
【図８】 図８（Ａ）は、フレームメモリへの画像データ書き込み時のタイミングチャートの一例を示す図であり、図８（Ｂ）は、フレームメモリからの画像データ読み出し時のタイミングチャートの一例を示す図である。
【図９】 元視差画像列ＧＤのデータが格納されたフレームメモリのメモリマップの一例を示す図である。
【図１０】 ルックアップテーブルの一例を示す図である。
【図１１】 被写体を中心としてカメラを回動させて、異なる方向から被写体を撮影することにより、視差画像列を撮影する方法を示す図である。
【図１２】 図１１に示したように視差画像列を撮影する場合について、被写体の正面にカメラが位置しているときの撮影の様子と撮影された画像とを示す図である。
【図１３】 図１１に示したように視差画像列を撮影する場合について、被写体の正面にカメラが位置していないときの撮影の様子と撮影された画像とを示す図である。
【図１４】 キーストン歪みの補正処理に用いるパラメータを示す図である。
【図１５】 ホログラフィックステレオグラムの作成方法を示す模式図である。
【図１６】 straight track方式による視差画像列の撮影方法を示す模式図である。
【図１７】 視点変換処理を行わずに作成したホログラフィックステレオグラムの再生像を観察する様子を示す模式図である。
【図１８】 視点変換処理を行った上で作成したホログラフィックステレオグラムの再生像を観察する様子を示す模式図である。
【符号の説明】
１ 画像データ生成装置、２ 制御用コンピュータ、３ ホログラフィックステレオグラムプリンタ装置、４１ 表示装置、５１ カメラ、６１ 視差画像列撮影システム、６２ 画像データ処理部、６３ カメラコントローラ、６４ Ｄ１デコーダ、６５ 画像処理ボード、６６ プリンタコントローラ、６７ プリンタシステム、７１ フレームメモリ、７２ ルックアップテーブル用メモリ、７３ ボードコントローラ、７４ ライトコントローラ、７５ Ｉ／Ｏコントローラ、７６ リードコントローラ、７７ フレームバッファ、７８ フレームセレクタ、７９ ラインセレクタ、８０ ピクセルセレクタ
【発明の属する技術分野】
本発明は、視差情報を含む複数の画像からなる視差画像列のデータに対して視点変換処理を施して新たな視差画像列のデータを生成する画像データ生成装置及び画像データ生成方法に関する。
【０００２】
【従来の技術】
ホログラフィックステレオグラムは、被写体を異なる観察点から順次撮影することにより得られた多数の画像を原画として、これらを１枚のホログラム用記録媒体に短冊状又はドット状の要素ホログラムとして順次記録することにより作成される。
【０００３】
例えば、横方向のみに視差情報を持つホログラフィックステレオグラムを作成する際は、図１５に示すように、先ず、被写体１００を横方向の異なる観察点から順次撮影することにより、横方向の視差情報を有する複数の画像からなる視差画像列１０１を得る。そして、この視差画像列１０１を構成する各画像１０２を、短冊状の要素ホログラムとしてホログラム用記録媒体１０３に横方向に連続するように順次記録する。これにより、横方向に視差情報を持つホログラフィックステレオグラムが得られる。
【０００４】
このホログラフィックステレオグラムでは、横方向の異なる観察点から順次撮影することにより得られた複数の画像１０２の情報が、短冊状の要素ホログラムとして横方向に連続するように順次記録されているので、このホログラフィックステレオグラムを観察者が両目で見たとき、その左右の目にそれぞれ写る２次元画像は異なるものとなる。これにより、観察者は視差を感じることとなり、３次元画像が再生されることとなる。
【０００５】
なお、ホログラフィックステレオグラムの元となる視差画像列は、例えば、図１６に示すように、被写体１００に向けたカメラ１０４をその方向を一定に保持したまま平行に動かして、異なる位置から被写体１００を多数撮影することによって得られる。すなわち、被写体１００がカメラ１０４による撮影範囲に入る位置から、被写体１００がカメラ１０４による撮影範囲から外れる位置に至るまで、被写体１００に向けたカメラ１０４を平行に動かし、この間において多数の画像を撮影することにより、ホログラフィックステレオグラムの元となる画像である視差画像列が得られる。なお、このようにカメラ１０４の方向を一定に保持したままカメラ１０４を平行に動かして、異なる位置から被写体１００を多数撮影する方式は、straight track方式と称される。
【０００６】
ところで、ホログラフィックステレオグラムにおいて、撮影時におけるカメラ１０４の視点と被写体１００との位置関係は、作成されたホログラフィックステレオグラムの再生像に対しても保持される。したがって、上述のように撮影された視差画像列をそのまま用いてホログラフィックステレオグラムを作成すると、図１７に示すように、再生像ＺがホログラフィックステレオグラムＨのホログラム面Ｈａよりも奥に結像してしまう。そのため、このようなホログラフィックステレオグラムＨでは、再生像Ｚと観察者の視点Ｓとの距離ｄ０が、撮影時における被写体１００とカメラ１０４の視点との距離ｄに一致するように、視点Ｓをホログラム面Ｈａにおいて再生像Ｚを見ない限り、再生像Ｚに歪みやぼけが生じてしまう。
【０００７】
そこで、ホログラフィックステレオグラムを作成する際には、このような問題を解決するために、元の視差画像列のデータに対して視点変換処理を施して、図１８に示すように、再生像ＺがホログラフィックステレオグラムＨのホログラム面Ｈａの近傍に結像するようにする必要がある。このような視点変換処理を施すことにより、ホログラム面Ｈａから離れた位置に視点Ｓをおいても、歪みやぼけの少ない再生像Ｚが得られるようになる。
【０００８】
【発明が解決しようとする課題】
ホログラフィックステレオグラムを作成する際は、上述のように視点変換処理を施す必要があるが、視点変換処理には煩雑な演算処理を必要とする。そのため、従来、ホログラフィックステレオグラムの作成には、かなり長い時間を必要としていた。すなわち、従来は、元となる視差画像列のデータに対して視点変換処理を施して新たな視差画像列のデータを作成するのに非常に長い時間がかかっており、このため、ホログラフィックステレオグラムを速やかに作成することができなかった。
【０００９】
しかしながら、ホログラフィックステレオグラム作成システムを、３次元画像が得られるハードコピーを出力するプリンタ装置として実用化するには、ホログラフィックステレオグラムの元となる画像の入力から、ホログラフィックステレオグラムが完成するまでの時間を短縮する必要があり、そのため、上記視点変換処理を速やかに行えるようにすることが強く望まれている。
【００１０】
なお、視点変換処理の高速化が望まれるのは、ホログラフィックステレオグラムを作成する場合だけではない。例えば、視点変換処理は、視差を利用して表示装置に立体的な画像を表示するようなときに行われる場合もあり、このような場合にも、視点変換処理を速やかに行えるようになされていることが望ましいことは言うまでもない。
【００１１】
本発明は、以上のような従来の実情に鑑みて提案されたものであり、視差情報を含む複数の画像からなる視差画像列のデータに対して視点変換処理を行い新たな視差画像列のデータを生成するにあたって、新たな視差画像列のデータを速やかに生成することが可能な画像データ生成装置及び画像データ生成方法を提供することを目的としている。
【００１２】
【課題を解決するための手段】
本発明に係る画像データ生成装置は、視差情報を含む複数の画像からなる視差画像列のデータに対して視点変換処理を行い新たな視差画像列のデータを生成する画像データ生成装置であって、元の視差画像列を構成する各画像の画素と、ホログラフィックステレオグラムに記録される視差画像列のデータであり視差画像列を構成する各画像がホログラフィックステレオグラムを構成する要素ホログラムとしてそれぞれ記録される新たな視差画像列を構成する各画像の画素との対応関係を示すルックアップテーブルが格納されるルックアップテーブル格納手段を備えている。そして、上記ルックアップテーブル格納手段に格納されたルックアップテーブルに基づいて画素の入れ替えを行うことにより視点変換処理を行い、元の視差画像列のデータから新たな視差画像列のデータを生成する。
【００１３】
一般に、視点変換処理において、視点変換処理におけるパラメータが一定ならば、元の視差画像列を構成する各画像の画素と、新たな視差画像列を構成する各画像の画素との対応関係は、常に一定である。したがって、画素の対応関係が予め分かっていれば、煩雑な演算処理を行うことなく、上記対応関係に基づいて画素の入れ替えを行うだけで視点変換処理を行うことができる。
【００１４】
そして、上記画像データ生成装置では、元の視差画像列を構成する各画像の画素と、新たな視差画像列を構成する各画像の画素との対応関係を示すルックアップテーブルを予めルックアップテーブル格納手段に格納しておき、当該ルックアップテーブルに基づいて画素の入れ替えを行うことにより視点変換処理を行い、上記各要素ホログラムを記録するタイミングに同期させて、上記視点変換処理が施された視差画像列のデータを、該新たな視差画像列を構成する各画像毎に順次出力するようにしているので、煩雑な演算処理を行うことなく、視点変換処理を速やかに行うことが可能となっている。
【００１５】
なお、上記画像データ生成装置は、視差画像列のデータが格納される画像データ格納手段を備えていることが好ましい。この場合は、新たな視差画像列のデータを生成する際に、元の視差画像列を構成する各画像のデータを上記画像データ格納手段に順次格納していき、元の視差画像列の全データを上記画像データ格納手段に格納した上で視点変換処理を行うようにする。これにより、画像データ生成装置への視差画像列の入力を、当該視差画像列を構成する各画像を撮影する毎にリアルタイムで行うことが可能となる。
【００１６】
また、上記画像データ生成装置は、元の視差画像列を構成する各画像の画素と、新たな視差画像列を構成する各画像の画素との対応関係を求めて上記ルックアップテーブルを生成するルックアップテーブル生成手段を備えていることが好ましい。これにより、元の視差画像列を構成する各画像の画素と、新たな視差画像列を構成する各画像の画素との対応関係が予め分かっていない場合にも、ルックアップテーブルを生成した上で視点変換処理を行うことが可能となる。
【００１７】
また、上記画像データ生成装置において、上記ルックアップテーブル格納手段は、データの書き換えが可能とされており、所望する視点変換処理に応じてルックアップテーブルの内容を書き換えるようになされていることが好ましい。これにより、パラメータの異なる様々な視点変換処理に対応することが可能となる。
【００１８】
また、上記画像データ生成装置において、視差画像列が一方向の視差のみを有する場合、上記ルックアップテーブルには、元の視差画像列を構成する各画像の画素と、新たな視差画像列を構成する各画像の画素との対応関係を、一列に並んだ複数の画素からなる画素列を最小単位として記録しておき、上記視点変換処理を行う際に、上記画素列を最小単位として画素の入れ替えを行うことが好ましい。これにより、視点変換処理をより効率良く行うことができる。
【００１９】
なお、画素列を最小単位として画素の入れ替えを行う場合、当該画素列は、例えば、画像を表示装置に表示する際の走査線に対応させる。このとき、元の視差画像列が走査線方向にのみ視差を有する場合には、該元の視差画像列を構成する各画像を９０度回転変換した上で、視点変換処理を行うようにする。
【００２０】
また、上記画像データ生成装置において、元の視差画像列にキーストン歪みが生じているような場合、上記ルックアップテーブルには、元の視差画像列を構成する各画像の画素と、新たな視差画像列を構成する各画像の画素との対応関係のほかに、キーストン歪みを補正するための補正パラメータも含めておき、視点変換処理を行う際に、ルックアップテーブルに基づいて画素の入れ替えを行うとともに、上記補正パラメータに基づいてキーストン歪みの補正を行うようにすることが好ましい。これにより、キーストン歪みが補正された視差画像列のデータを得ることができる。
【００２２】
そして、この画像データ生成装置で新たに生成する視差画像列のデータが、ホログラフィックステレオグラムに記録される視差画像列のデータであり、各要素ホログラムを記録するタイミングに同期させて、視点変換処理が施された視差画像列のデータを、当該視差画像列を構成する各画像毎に順次出力するようにするので、ホログラフィックステレオグラムを速やかに作成することが可能となる。
【００２３】
一方、本発明に係る画像データ生成方法は、視差情報を含む複数の画像からなる視差画像列のデータに対して視点変換処理を行い新たな視差画像列のデータを生成する際に、元の視差画像列を構成する各画像の画素と、ホログラフィックステレオグラムに記録される視差画像列のデータであり視差画像列を構成する各画像がホログラフィックステレオグラムを構成する要素ホログラムとしてそれぞれ記録される新たな視差画像列を構成する各画像の画素との対応関係を示すルックアップテーブルを予め作成しておき、上記ルックアップテーブルに基づいて画素の入れ替えを行うことにより視点変換処理を行うとともに、上記各要素ホログラムを記録するタイミングに同期させて、該視点変換処理が施された視差画像列のデータを、該新たな視差画像列を構成する各画像毎に順次出力し、元の視差画像列のデータから新たな視差画像列のデータを生成することを特徴としている。
【００２４】
この画像データ生成方法では、ルックアップテーブルに基づいて画素の入れ替えを行うことにより視点変換処理を行うようにしているので、煩雑な演算処理を行うことなく、視点変換処理を速やかに行うことが可能となっている。
【００２５】
なお、上記画像データ生成方法では、新たな視差画像列のデータを生成する際に、元の視差画像列を構成する各画像のデータを画像データ格納手段に順次格納していき、元の視差画像列の全データを画像データ格納手段に格納した上で上記視点変換処理を行うことが好ましい。これにより、元となる視差画像列を、当該視差画像列を構成する各画像を撮影する毎に、データ格納手段にリアルタイムで入力することが可能となる。
【００２６】
また、上記画像データ生成方法では、ルックアップテーブルを書き換え可能な記憶装置に記憶させておくようにし、所望する視点変換処理に応じて、視点変換処理を行う前にルックアップテーブルの内容を書き換えるようにすることが好ましい。これにより、パラメータの異なる様々な視点変換処理に対応することが可能となる。
【００２７】
また、上記画像データ生成方法において、視差画像列が一方向の視差のみを有する場合、上記ルックアップテーブルには、元の視差画像列を構成する各画像の画素と、新たな視差画像列を構成する各画像の画素との対応関係を、一列に並んだ複数の画素からなる画素列を最小単位として記録しておき、上記視点変換処理を行う際に、上記画素列を最小単位として画素の入れ替えを行うことが好ましい。これにより、視点変換処理をより効率良く行うことができる。
【００２８】
なお、画素列を最小単位として画素の入れ替えを行う場合、当該画素列は、例えば、画像を表示装置に表示する際の走査線に対応させる。このとき、元の視差画像列が走査線方向にのみ視差を有する場合には、当該視差画像列を構成する各画像を９０度回転変換した上で、上記視点変換処理を行うようにする。
【００２９】
また、上記画像データ生成方法において、元の視差画像列にキーストン歪みが生じているような場合、上記ルックアップテーブルには、元の視差画像列を構成する各画像の画素と、新たな視差画像列を構成する各画像の画素との対応関係のほかに、キーストン歪みを補正するための補正パラメータも含めておき、視点変換処理を行う際に、ルックアップテーブルに基づいて画素の入れ替えを行うとともに、上記補正パラメータに基づいてキーストン歪みの補正を行うようにすることが好ましい。これにより、キーストン歪みが補正された視差画像列のデータを得ることができる。
【００３１】
そして、この画像データ生成方法で新たに生成される視差画像列のデータが、ホログラフィックステレオグラムに記録される視差画像列のデータであり、各要素ホログラムを記録するタイミングに同期させて、視点変換処理が施された視差画像列のデータを、当該視差画像列を構成する各画像毎に順次出力するようにするので、ホログラフィックステレオグラムを速やかに作成することが可能となる。
【００３２】
【発明の実施の形態】
以下、本発明の実施の形態について、ホログラフィックステレオグラム作成システムを例に挙げて、図面を参照しながら詳細に説明する。
【００３３】
なお、以下の説明では、ホログラフィックステレオグラムを作成するホログラフィックステレオグラム作成システムを例に挙げるが、本発明は、視点変換処理が必要とされる分野に広く適用可能である。すなわち、例えば、視差を利用して表示装置に立体的な画像を表示するようなときに視点変換処理が行われる場合もあり、このような場合にも本発明は適用可能である。
【００３４】
まず、ホログラフィックステレオグラム作成システムの全体構成について説明する。なお、以下に説明するホログラフィックステレオグラム作成システムは、物体光と参照光との干渉縞が記録されたフィルム状のホログラム用記録媒体をそのままホログラフィックステレオグラムとして出力する。このように物体光と参照光との干渉縞がホログラム用記録媒体に直接記録されてなるホログラフィックステレオグラムは、一般に、ワンステップホログラフィックステレオグラムと称される。すなわち、以下に説明するホログラフィックステレオグラム作成システムは、ワンステップホログラフィックステレオグラムを作成するシステムの一例である。
【００３５】
そして、このホログラフィックステレオグラム作成システムは、図１に示すように、ホログラフィックステレオグラムに記録する画像の画像データを生成する画像データ生成装置１と、このシステム全体の制御を行う制御用コンピュータ２と、ホログラフィックステレオグラム作成用の光学系を有するホログラフィックステレオグラムプリンタ装置３とを備えている。
【００３６】
上記画像データ生成装置１は、本発明を適用して、ホログラフィックステレオグラムに記録される複数の要素ホログラムに対応した複数の画像の画像データ（すなわち視差画像列のデータ）を生成する。なお、この画像データ生成装置１による画像データの生成については、後で詳細に説明する。
【００３７】
そして、画像データ生成装置１は、ホログラム用記録媒体に画像を記録する際に、生成した画像データＤ１をホログラム用記録媒体に記録する順に１画像分毎にホログラフィックステレオグラムプリンタ装置３に送出するとともに、ホログラフィックステレオグラムプリンタ装置３に１画像分の画像データＤ１を送出する毎に、画像データＤ１を送出したことを示すタイミング信号を制御用コンピュータ２に送出する。
【００３８】
制御用コンピュータ２は、画像データ生成装置１からのタイミング信号に基づいてホログラフィックステレオグラムプリンタ装置３を駆動し、画像データ生成装置１で生成された画像データＤ１に基づく画像を、ホログラフィックステレオグラムプリンタ装置３の内部にセットされたホログラム用記録媒体に、短冊状の要素ホログラムとして順次記録する。
【００３９】
このとき、制御用コンピュータ２は、後述するように、ホログラフィックステレオグラムプリンタ装置３に設けられた露光用シャッタ及び記録媒体送り機構等の制御を行う。すなわち、制御用コンピュータ２は、ホログラフィックステレオグラムプリンタ装置３に制御信号を送出して、露光用シャッタの開閉や、記録媒体送り機構によるホログラム用記録媒体の送り動作などを制御する。
【００４０】
上記ホログラフィックステレオグラムプリンタ装置３について、図２を参照して詳細に説明する。なお、図２（Ａ）は、ホログラフィックステレオグラムプリンタ装置全体の光学系を上から見た図であり、図２（Ｂ）は、ホログラフィックステレオグラムプリンタ装置３の光学系の物体光用の部分を横から見た図である。
【００４１】
ホログラフィックステレオグラムプリンタ装置３は、図２（Ａ）に示すように、所定の波長のレーザ光を出射するレーザ光源３１と、レーザ光源３１からのレーザ光Ｌ１の光軸上に配された露光用シャッタ３２及びハーフミラー３３とを備えている。
【００４２】
露光用シャッタ３２は、制御用コンピュータ２によって制御され、ホログラム用記録媒体３０を露光しないときには閉じられ、ホログラム用記録媒体３０を露光するときに開かれる。また、ハーフミラー３３は、露光用シャッタ３２を通過してきたレーザ光Ｌ２を、参照光と物体光とに分離するためのものであり、ハーフミラー３３によって反射された光Ｌ３が参照光となり、ハーフミラー３３を透過した光Ｌ４が物体光となる。
【００４３】
ハーフミラー３３によって反射された光Ｌ３の光軸上には、参照光用の光学系として、シリンドリカルレンズ３４と、参照光を平行光とするためのコリメータレンズ３５と、コリメータレンズ３５によって平行光とされた光を反射する全反射ミラー３６とがこの順に配置されている。
【００４４】
そして、ハーフミラー３３によって反射された光は、先ず、シリンドリカルレンズ３４によって発散光とされ、次に、コリメータレンズ３５によって平行光とされる。その後、全反射ミラー３６によって反射され、ホログラム用記録媒体３０に入射する。
【００４５】
一方、ハーフミラー３３を透過した光Ｌ４の光軸上には、図２（Ａ）及び図２（Ｂ）に示すように、物体光用の光学系として、ハーフミラー３３からの透過光を反射する全反射ミラー３８と、凸レンズとピンホールを組み合わせたスペーシャルフィルタ３９と、物体光を平行とするためのコリメータレンズ４０と、記録対象の画像を表示する表示装置４１と、物体光をホログラム用記録媒体３０上に集光させるシリンドリカルレンズ４２とがこの順に配置されている。
【００４６】
そして、ハーフミラー３３を透過した光Ｌ４は、全反射ミラー３８によって反射された後、スペーシャルフィルタ３９によって点光源からの拡散光とされ、次に、コリメータレンズ４０によって平行光とされ、その後、表示装置４１に入射する。ここで、表示装置４１は、例えば液晶パネルからなる透過型の画像表示装置であり、画像データ生成装置１から送られた画像データＤ１に基づく画像を表示する。そして、表示装置４１を透過した光は、表示装置４１に表示された画像に応じて変調された後、シリンドリカルレンズ４２に入射する。
【００４７】
そして、表示装置４１を透過した光は、シリンドリカルレンズ４２により横方向に集束され、この集束光が物体光としてホログラム用記録媒体３０に入射する。すなわち、このホログラフィックステレオグラムプリンタ装置３では、表示装置４１からの投影光が短冊状の物体光としてホログラム用記録媒体３０に入射する。
【００４８】
ここで、参照光及び物体光は、参照光がホログラム用記録媒体３０の一方の主面に入射し、物体光がホログラム用記録媒体３０の他方の主面に入射するようにする。すなわち、ホログラム用記録媒体３０の一方の主面に、参照光を所定の入射角度にて入射させるとともに、ホログラム用記録媒体３０の他方の主面に、物体光をホログラム用記録媒体３０に対して光軸がほぼ垂直となるように入射させる。これにより、参照光と物体光とがホログラム用記録媒体３０上において干渉し、当該干渉によって生じる干渉縞が、ホログラム用記録媒体３０に屈折率の変化として記録される。
【００４９】
また、このホログラフィックステレオグラムプリンタ装置３は、制御用コンピュータ２の制御のもとに、ホログラム用記録媒体３０を間欠送りし得る記録媒体送り機構４３を備えている。この記録媒体送り機構４３は、記録媒体送り機構４３に所定の状態でセットされたホログラム用記録媒体３０に対して、画像データ生成装置１で生成された画像データＤ１に基づく１つの画像が１つの要素ホログラムとして記録される毎に、制御用コンピュータ２からの制御信号に基づいて、ホログラム用記録媒体を１要素ホログラム分だけ間欠送りする。これにより、画像データ生成装置１で生成された画像データＤ１に基づく画像が、要素ホログラムとして、ホログラム用記録媒体３０に横方向に連続するように順次記録される。
【００５０】
なお、上記ホログラフィックステレオグラムプリンタ装置３において、ハーフミラー３３によって反射されホログラム用記録媒体３０に入射する参照光の光路長と、ハーフミラー３３を透過し表示装置４１を介してホログラム用記録媒体３０に入射する物体光の光路長とは、ほぼ同じ長さとすることが好ましい。これにより、参照光と物体光との干渉性が高まり、ホログラフィックステレオグラムの画質が向上する。
【００５１】
また、上記ホログラフィックステレオグラムプリンタ装置３において、ホログラフィックステレオグラムの画質を向上させるために、物体光の光路上に拡散板を配してもよい。物体光の光路上に拡散板を配することにより、物体光に含まれるノイズ成分が分散され、また、ホログラム用記録媒体に入射する物体光の光強度分布がより均一になり、作成されるホログラフィックステレオグラムの画質が向上する。
【００５２】
ただし、このように拡散板を配するときは、拡散板とホログラム用記録媒体３０の間に、要素ホログラムの形状に対応した短冊状の開口部が形成されたマスクを配することが好ましい。このようにマスクを配することにより、拡散板によって拡散された物体光のうち、余分な部分がマスクによって遮られることとなり、より高画質なホログラフィックステレオグラムを作成することが可能となる。
【００５３】
また、上記ホログラフィックステレオグラムプリンタ装置３では、ホログラフィックステレオグラムに縦方向の視野角を持たせるために、物体光の光路上に、物体光を縦方向に拡散させる１次元拡散板を配してもよい。物体光の光路上に１次元拡散板を配することにより、物体光が縦方向、すなわち作成される要素ホログラムの長軸方向に拡散され、これにより、作成されるホログラフィックステレオグラムは縦方向の視野角を有することとなる。
【００５４】
ただし、このように１次元拡散板を配するときは、ホログラム用記録媒体３０と１次元拡散板の間に、微細な簾状の格子を有するルーバーフィルムを配することが好ましい。このようにルーバーフィルムを配することにより、ホログラム用記録媒体３０を透過した参照光が１次元拡散板によって反射されて、再びホログラム用記録媒体３０に入射するのを防ぐことができる。
【００５５】
つぎに、上記ホログラフィックステレオグラム作成システムの動作について説明する。
【００５６】
ホログラフィックステレオグラムを作成する際、画像データ生成装置１は、ホログラフィックステレオグラムプリンタ装置３の表示装置４１に画像データＤ１を送出し、当該画像データＤ１に基づく露光用画像を表示装置４１に表示させる。このとき、画像データ生成装置１は、画像データＤ１をホログラフィックステレオグラムプリンタ装置３の表示装置４１に送出したことを示すタイミング信号を、制御用コンピュータ２に送出する。
【００５７】
そして、上記タイミング信号を受け取った制御用コンピュータ２は、露光用シャッタ３２に制御信号を送出し、所定時間だけ露光用シャッタ３２を開放させる。これにより、ホログラム用記録媒体３０が露光される。
【００５８】
このとき、レーザ光源３１から出射され露光用シャッタ３２を透過したレーザ光Ｌ２のうち、ハーフミラー３３によって反射された光Ｌ３が、参照光としてホログラム用記録媒体３０に入射する。また、ハーフミラー３３を透過した光Ｌ４が、表示装置４１に表示された画像が投影された投影光となり、当該投影光が物体光としてホログラム用記録媒体３０に入射する。これにより、表示装置４１に表示された露光用画像が、ホログラム用記録媒体３０に短冊状の要素ホログラムとして記録される。
【００５９】
そして、ホログラム用記録媒体３０への１画像の記録が終了すると、次いで、制御用コンピュータ２は、記録媒体送り機構４３に制御信号を送出し、ホログラム用記録媒体３０を１要素ホログラム分だけ送らせる。
【００６０】
以上の動作を、表示装置４１に表示させる露光用画像を視差画像列順に順次変えて繰り返す。これにより、画像データ生成装置１によって生成された画像データに基づく露光用画像が、ホログラム用記録媒体３０に短冊状の要素ホログラムとして順次記録される。
【００６１】
なお、このように要素ホログラムを順次記録する際、記録媒体送り機構４３でホログラム用記録媒体を送ったときに、ホログラム用記録媒体３０が若干振動する場合がある。このような場合は、ホログラム用記録媒体３０を送る毎に振動がおさまるのを待ち、振動がおさまった後に要素ホログラムを記録するようにする。
【００６２】
以上のように、このホログラフィックステレオグラム作成システムでは、画像データ生成装置１によって生成された画像データに基づく複数の露光用画像が表示装置４１に順次表示されるとともに、各画像毎に露光用シャッタ３２が開放され、各画像がそれぞれ短冊状の要素ホログラムとしてホログラム用記録媒体３０に順次記録される。このとき、ホログラム用記録媒体３０は、１画像毎に１要素ホログラム分だけ送られるので、各要素ホログラムは、横方向に連続して並ぶこととなる。これにより、横方向の視差情報を含む複数の画像からなる視差画像列が、横方向に連続した複数の要素ホログラムとしてホログラム用記録媒体３０に記録され、横方向の視差を有するホログラフィックステレオグラムが得られる。
【００６３】
つぎに、以上のようなホログラフィックステレオグラム作成システムで使用される画像データ生成装置１について詳細に説明する。
【００６４】
上記画像データ生成装置１は、ホログラフィックステレオグラムの元となる複数の画像である視差画像列を撮影するための撮影装置を備えている。
【００６５】
撮影装置によって視差画像を撮影する方法には様々な方法があるが、例えば、図３に示すように、被写体５０を固定しておき、当該被写体５０を撮影するカメラ５１を平行に移動させて、異なる位置から被写体５０を多数撮影するようにする。すなわち、１枚の画像を撮影する毎に、図３中矢印Ａ１で示すように、カメラ５１を平行に所定ピッチだけ一定方向に移動させる。これにより、横方向の視差を有する視差画像列が得られる。
【００６６】
なお、視差画像列の撮影には、図１６に示したようなstraight Track方式を採用しても良いが、本例では、図３に示すように、被写体５０の像が画面の中心に常に位置するように、撮影する位置に合わせてカメラ５１のレンズ５２を移動させて撮影するものとする。このように被写体５０の像が画面の中心に常に位置するように撮影する方式は、re-centering方式と称される。
【００６７】
そして、実際に視差画像列を生成する際は、１枚の画像を撮影する毎に、カメラ５１を所定ピッチずつ移動させることによって、被写体５０に対するカメラ５１の視点を連続的に変えて、例えば５００〜１０００枚程度の画像を撮影する。これにより、横方向の視差を有する多数の画像からなる視差画像列が得られる。
【００６８】
なお、上述の方法は実写による視差画像列の生成法であるが、ホログラフィックステレオグラムの作成に使用する視差画像列は、コンピュータグラフィックスを用いて生成することもできる。この場合は、例えば、コンピュータグラフィックス空間内において仮想的に被写体とカメラを配置し、当該カメラを図３に示した例と同様に平行に移動させて、異なる位置から見た被写体の画像を多数撮影するようにする。換言すれば、カメラの視点を所定のピッチにて移動させていき、それらの視点から見た被写体の画像をそれぞれレンダリングして、視点の異なる複数の画像のデータを生成する。このようにしても、実写によって生成した視差画像列と同様な視差画像列を得ることができる。
【００６９】
ところで、図３のように撮影した視差画像列をそのまま用いて作成したホログラフィックステレオグラムでは、撮影時におけるカメラ５１の視点と被写体５０との位置関係が、作成されたホログラフィックステレオグラムの再生像に対しても保持される。したがって、上述のように撮影された視差画像列をそのまま用いてホログラフィックステレオグラムを作成すると、図１７に示したように、再生像ＺがホログラフィックステレオグラムＨのホログラム面Ｈａよりも、視差画像列撮影時の撮影距離の分だけ奥に結像してしまう。そのため、このようなホログラフィックステレオグラムＨでは、再生像Ｚと観察者の視点Ｓとの距離ｄ０が撮影時における被写体５０からカメラ５１までの距離に一致するように、視点Ｓをホログラム面Ｈａにおいて再生像Ｚを見ない限り、再生像Ｚに歪みやぼけが生じてしまう。
【００７０】
特に白色光によって再生される白色再生ホログラフィックステレオグラムでは、再生像Ｚの結像位置がホログラム面Ｈａから遠ざかるほど、再生像Ｚがぼける性質があるため、上述のように再生像Ｚがホログラム面Ｈａよりも奥に結像してしまうと、再生像Ｚがひどくぼけたものとなってしまう。
【００７１】
そこで、画像データ処理装置１は、上述のように得られた視差画像列に対して視点変換処理を施して、図１８に示したように、再生像Ｚがホログラム面Ｈａの近傍に結像するようにする。すなわち、再生像ＺがホログラフィックステレオグラムＨのホログラム面Ｈａの近傍に定位するように、画像データ処理装置１によって視差画像列に対して視点変換処理を施し、当該視点変換処理が施された視差画像列を用いてホログラフィックステレオグラムを作成するようにする。
【００７２】
このような視点変換処理を施すことにより、図１８に示したように、再生像Ｚがホログラム面Ｈａの近傍に定位するようになり、ホログラム面Ｈａから離れた位置に視点Ｓをおいても、歪みやぼけの少ない明瞭な再生像が得られるようになる。
【００７３】
以下、このような視点変換処理の具体例について、図４及び図５を参照して詳細に説明する。なお、図４及び図５は、re-centering方式によって撮影されたｍ枚の画像からなる視差画像列（以下、元視差画像列と称する。）に対して視点変換処理を施して、ｎ枚の画像からなる新たな視差画像列（以下、露光用視差画像列と称する。）を再構成する原理を説明するための図である。
【００７４】
ここで、露光用視差画像列は、ホログラフィックステレオグラムの作成に使用される視差画像列である。すなわち、ホログラフィックステレオグラム作成システムは、視点変換処理が施されてなる露光用視差画像列の各画像を、上述したように表示装置４１に順次表示させていき、ホログラフィックステレオグラムを作成する。
【００７５】
なお、ここでは、上述したre-centering方式によって撮影された視差画像列（すなわち元視差画像列）に対して視点変換処理を施して、新たな視差画像列（すなわち露光用視差画像列）を作成する例を挙げるが、本発明において、視点変換処理の手法は、以下の例に限定されるものではなく、視点変換処理の対象となる視差画像列に応じて、適切な手法を適宜適用可能であることは言うまでもない。
【００７６】
図４において、g11,g12,・・・,g1mは、元視差画像列を構成する各画像を表しており、これらの画像g11,g12,・・・,g1mからなる元視差画像列のことをＧＤとして示している。また、g21,g22,・・・,g2nは、露光用視差画像列を構成する各画像を表しており、これらの画像g21,g22,・・・,g2nからなる露光用視差画像列のことをＧＥとして示している。
【００７７】
そして、図４は、視差方向の長さがＬｅのホログラフィックステレオグラムＨの各露光点ep1,ep2,・・・,epnと、露光用視差画像列ＧＥを構成する各画像g21,g22,・・・,g2nと、元視差画像列ＧＤを構成する各画像g11,g12,・・・,g1mとの位置関係を示している。ここで、ホログラフィックステレオグラムＨの各露光点ep1,ep2,・・・,epnには、露光用視差画像列ＧＥを構成する各画像g21,g22,・・・,g2nがそれぞれ要素ホログラムとして記録されることとなる。
【００７８】
なお、図４では、説明の便宣上、露光点としてep1,ep2,epnの３点のみを示しているが、当然の事ながら、このホログラフィックステレオグラムＨにはｎ個の露光点が存在しており、露光用視差画像列ＧＥを構成するｎ枚の画像g21,g22,・・・,g2nが、それぞれ異なる露光点において要素ホログラムとして記録される。
【００７９】
ここで、露光点の数は、露光用視差画像列ＧＥを構成する画像の数ｎに相当する。そして、この露光点の数は、ホログラフィックステレオグラムＨの横サイズＬｅと、露光点のピッチΔＬｅとに依存しており、これらの関係は、下記式（１）で表される。
【００８０】
Ｌｅ＝ｎ×ΔＬｅ ・・・（１）
すなわち、例えば、ホログラフィックステレオグラムＨの横サイズＬｅを１０ｃｍとし、露光ピッチを０．２ｍｍの等ピッチとした場合、露光点の数は５００箇所となる。
【００８１】
なお、露光点のピッチΔＬｅは、換言すれば要素ホログラムのピッチのことであり、これは、ホログラフィックステレオグラムＨの解像度を規定するパラメータの一つとなる。すなわち、露光点のピッチΔＬｅが小さいほど、高解像度のホログラフィックステレオグラムが得られる。
【００８２】
また、図４において、ΔＬｃは、元視差画像列ＧＤの撮影時における各画像撮影毎のカメラ５１の移動量（以下、カメラ移動ピッチと称する。）を示している。また、Ｌｃは、元視差画像列ＧＤの撮影時におけるカメラ５１の移動量の合計（以下、撮影幅と称する。）を示している。また、ｄｆは、元視差画像列ＧＤの撮影時におけるカメラ５１と被写体５０との間の距離（以下、撮影距離と称する。）を示している。また、ｄＶは、ホログラフィックステレオグラムＨの観察者の視点Ｓとホログラム面Ｈａとの間の距離（以下、視点距離と称する。）を示している。
【００８３】
なお、露光点のピッチΔＬｅと、カメラ移動ピッチΔＬｃとは、等しくなるようにしてもよいが、必ずしも等しくなるようにする必要はない。一方、視点距離ｄＶと撮影距離ｄｆは、等しくしておく。
【００８４】
そして、ホログラフィックステレオグラムＨの各露光点には、露光用視差画像列ＧＥを構成する画像g21,g22,・・・,g2nが、所定の露光角度θｅをもってそれぞれ露光される。
【００８５】
ここで、元視差画像列ＧＤを構成する各画像g11,g12,・・・,g1m、並びに露光用視差画像列ＧＥを構成する各画像g21,g22,・・・,g2nの解像度は、縦方向に６４０[pixel]であり、横方向（視差方向）に４８０[pixel]であるとする。なお、ここでは、これらの画像が、６４０[pixel]×４８０[pixel]の解像度を持つ場合を例に挙げるが、本発明において、これらの画像を構成する画素の数は任意であり、本例に限定されるものではない。
【００８６】
そして、視点変換処理では、元視差画像列ＧＤを構成する各画像g11,g12,・・・,g1mから、視点位置を変換した複数の画像を再構成し、露光用視差画像列ＧＥを生成する。具体的には、元視差画像列ＧＤを構成する各画像g11,g12,・・・,g1mの画素と、露光用視差画像列ＧＥを構成する各画像g21,g22,・・・,g2nの画素との対応関係を予め求めておき、この対応関係を示すルックアップテーブルを作成しておく。そして、このルックアップテーブルに基づいて画素の入れ替えを行うことにより視点変換処理を行い、元視差画像列ＧＤの各画像g11,g12,・・・,g1mから、露光用視差画像列ＧＥの各画像g21,g22,・・・,g2nを再構成する。
【００８７】
ここで、画素の入れ替えは、縦６４０[pixel]，横１[pixel]のスリット状の画素列を最小単位として行う。すなわち、視点変換処理では、元視差画像列ＧＤを構成する各画像g11,g12,・・・,g1mから、画素列単位で必要な画素を抽出して、新たな画像g21,g22,・・・,g2nを再構成する。このように、複数の画素をまとめて扱って画素の入れ替えを行うことで、各画素を個別に取り扱うよりも、視点変換処理に要する処理を大幅に削減することができる。しかも、縦６４０[pixel]，横１[pixel]のスリット状の画素列は、視差情報の最小単位であるので、このように画素列単位で画素の入れ替えを行うようにしても、視差情報が失われるようなことはない。
【００８８】
このような視点変換処理について、図５を参照してさらに詳しく説明する。図５は、露光用視差画像列ＧＥを構成する画像のうちの一つである画像g21を取り出し、当該画像g21を元視差画像列ＧＤから再構成する様子を示している。
【００８９】
画像g21の再構成を行う際は、図５に示すように、まず、画像g21がホログラフィックステレオグラムＨから視点距離ｄＶだけ離れた平面ＤＶ上にあると仮定する。ここで、画像g21は、当該画像g21に対応する露光点ep1に対して所定の画角θｅを持つ。
【００９０】
また、元視差画像列ＧＤを構成する各画像g11,g12,・・・,g1mが、画像g21から撮影距離ｄｆだけ離れた平面ＤＤ上にあると仮定する。ここで、元視差画像列ＧＤを構成する各画像g11,g12,・・・,g1mは、被写体５０の撮影時の視点位置に対応するように、平面ＤＤ上に配する。
【００９１】
そして、画像g21に対応する露光点ep1と、画像g21上のサンプリング点mp11,mp12,・・・,mp1kとをそれぞれ結ぶ直線L1,L2,・・・,Lk（以下、マッピングラインL1,L2,・・・,Lkと称する。）を考える。ここで、これらのサンプリング点mp11,mp12,・・・,mp1kは、画像g21を構成する画素列にそれぞれ相当しており、画像g21におけるサンプリング点の数ｋは、画像g21の横方向（すなわち視差方向）の画素数に相当する。したがって、例えば、画像g21が縦６４０[pixel]，横４８０[pixel]からなる場合、ｋ＝４８０である。
【００９２】
そして、上記マッピングラインL1,L2,・・・,Lkに基づいて、元視差画像列ＧＤを構成する画像g11,g12,・・・,g1mの中から、各サンプリング点毎にそれらのサンプリング点mp11,mp12,・・・,mp1kにおける視点に最も近い視点をもつ画像を選択し、更に選択された画像の中から最も近い視点をもつ画素列を選択する。
【００９３】
例えば、サンプリング点mp11について考えると、先ず、元視差画像列ＧＤを構成する画像g11,g12,・・・,g1mの中から、サンプリング点mp11における視点に最も近い視点をもつ画像g11を選択する。次に、露光点ep1とサンプリング点mp11を結ぶマッピングラインL1を平面ＤＤにまで延長し、画像g11のサンプリング点op11,op12,・・・,op1jの中から、上記マッピングラインL1と平面ＤＤとが交わる点に最も近いサンプリング点op1jを選択する。そして、このように選択されたサンプリング点opj1に位置する画素列を画像g11から抽出し、当該画素列を画像g21のサンプリング点mp11にマッピングする。
【００９４】
なお、図５の例では、元視差画像列ＧＤを構成する各画像g11,g12,・・・,g1mには、それぞれｊ個のサンプリング点が存在するものとしている。すなわち、例えば、元視差画像列ＧＤを構成する画像g11には、サンプリング点op11,op12,・・・,op1jが存在し、画像g12には、サンプリング点op21,op22,・・・,op2jが存在し、その他の画像についても、同様にｊ個のサンプリング点が存在する。そして、これらのサンプリング点は、各画像g11,g12,・・・,g1mの画素列にそれぞれ相当しており、各画像におけるサンプリング点の数ｊは、各画像の横方向（すなわち視差方向）の画素数に相当している。したがって、例えば、各画像g11,g12,・・・,g1mが縦６４０[pixel]，横４８０[pixel]からなる場合、ｊ＝４８０である。
【００９５】
そして、以上のようなマッピング処理を、画像g21の他のサンプリング点mp12,・・・,mp1kについても同様に行うことにより、１枚の新たな画像g21が再構成される。そして、更に同様な処理を他の露光点ep2,op3,・・・,epnについても行うことで、それぞれの露光点に対応した画像g22,g23,・・・,g2nを再構成する。これにより、視点変換処理が施され再構成されてなる視差画像列、すなわち露光用視差画像列ＧＥが得られる。
【００９６】
そして、このようにして得られた露光用視差画像列ＧＥを構成する各画像g21,g22,・・・,g2nを、上述したように、表示装置４１に順次に表示して、ホログラム用記録媒体３０にスリット状の要素ホログラムとしてそれぞれ記録することにより、ホログラフィックステレオグラムが作成される。
【００９７】
このようにして作成されたホログラフィックステレオグラムは、視点変換処理により視点位置がホログラム面上から観察者側に視点距離ｄＶだけ移動し、それに伴って、再生像も視点距離ｄＶの分だけ観察者側に移動してホログラム面上付近に定位する。したがって、このホログラフィックステレオグラムでは、歪みやぼけの少ない再生像を得ることができる。
【００９８】
ところで、以上のような視点変換処理は、元視差画像列ＧＤを撮影する際のパラメータ（撮影距離等）や、作成するホログラフィックステレオグラムのパラメータ（露光ピッチ等）が一定であれば、元視差画像列ＧＤにかかわらず、常に同じように画素の入れ替えを行うことで実現される。
【００９９】
したがって、元視差画像列ＧＤを構成する各画像の画素と、露光用視差画像列ＧＥを構成する各画像の画素との対応関係を予め計算しておき、それらの対応関係をルックアップテーブルとして保存しておけば、視点変換処理を行う毎に煩雑な計算を行うことなく、単にルックアップテーブルに基づいて画素の入れ替えを行うだけで、視点変換処理を行うことができる。
【０１００】
特に、水平視差のみを持つ視差画像列に対する視点変換処理では、画素列毎の対応関係をルックアップテーブルに保存しておけばよく、この場合は、当該ルックアップテーブルに基づいて画素列単位での入れ替えを行うだけで、露光用視差画像列ＧＥを得ることができる。
【０１０１】
そこで、本発明を適用したホログラフィックステレオグラム作成システムでは、画像データ生成装置１にルックアップテーブル格納手段を設け、当該ルックアップテーブル格納手段にルックアップテーブルを格納しておき、当該ルックアップテーブルを参照して視点変換処理を行うようにしている。
【０１０２】
以下、このような視点変換処理を行う画像データ生成装置１の詳細な構成を含めて、ホログラフィックステレオグラム作成システムについて、更に詳細に説明する。
【０１０３】
ホログラフィックステレオグラム作成システムは、図１に示したように、画像データ生成装置１と、制御用コンピュータ２と、ホログラフィックステレオグラムプリンタ装置３とを備えており、これらの内部は、図６に示すような構成とされている。
【０１０４】
図６に示すように、画像データ生成装置１は、視差画像列を撮影するための視差画像列撮影システム６１と、視差画像列撮影システム６１によって撮影された視差画像列に対して視点変換処理を施す画像データ処理部６２とを備えている。
【０１０５】
そして、視差画像列撮影システム６１は、上述したように移動操作されて視差画像列を撮影するカメラ５１と、カメラ５１を制御するカメラコントローラ６３とを備えている。ここで、カメラ５１は、例えば、感光部に電荷結合素子（ＣＣＤ：Charge Coupled Device）を用いたスチルカメラやビデオカメラ等が好適である。一方、画像データ処理部６２は、Ｄ１デコーダ６４と、視点変換処理を行う処理装置が組み込まれた画像処理ボード６５とを備えている。
【０１０６】
この画像データ生成装置１において、視差画像列撮影システム６１は、制御用コンピュータ２からの制御信号に基づいて、カメラコントローラ６３によってカメラ５１を制御して、図３に示したように視差画像列を撮影し、当該視差画像列を構成する各画像の信号を画像データ処理部６２のＤ１デコーダ６４へ送出する。すなわち、視差画像列撮影システム６１は、カメラコントローラ６３による制御により、カメラ５１を移動させながら当該カメラ５１によって多数の画像を撮影することにより、視差画像列（すなわち元視差画像列ＧＤ）の撮影を行う。
【０１０７】
そして、この視差画像列撮影システム６１は、カメラ５１によって画像を撮影する毎に、当該画像の信号をカメラ５１から画像データ処理部６２のＤ１デコーダ６４へと出力する。ここで、カメラ５１は、視差画像列を構成する各画像の信号を、例えばＮＴＳＣ方式のビデオ信号として、Ｄ１デコーダ６４に供給する。
【０１０８】
Ｄ１デコーダ６４は、カメラ５１から送られてきた画像信号をデジタル化し、更にＤ１フォーマットに変換する。これにより、画像信号はＹＵＶ４２２信号に変換され、クロマ成分のデータ量が約１／２とされる。そして、Ｄ１デコーダ６４によってＤ１フォーマットとされた画像データは、画像処理ボード６５に送られる。
【０１０９】
このように、Ｄ１デコーダ６４でＤ１フォーマットに変換した上で画像データを画像処理ボード６５に供給するようにすることで、画像処理ボード６５に入力される画像データ量を低減することができ、画像処理ボード６５に必要とされるメモリの容量を抑えることができる。
【０１１０】
なお、ここでは視点変換処理の対象となる画像データのデータ量を抑えるためにＤ１フォーマットを採用しているが、当然の事ながら、他のデジタル画像信号フォーマットを採用することも可能であることは言うまでもない。
【０１１１】
そして、画像処理ボード６５は、制御用コンピュータ２による制御のもとで、Ｄ１フォーマットとされた画像データに対して視点変換処理を施して、視点変換処理が施された新たな視差画像列、すなわち露光用視差画像列ＧＥを生成する。そして、画像処理ボード６５は、制御用コンピュータ２による制御に基づいて、露光用視差画像列ＧＥを構成する各画像のデータを、ホログラフィックステレオグラムプリンタ装置３による要素ホログラムの記録タイミングに同期させて、ホログラフィックステレオグラムプリンタ装置３の表示装置４１に供給する。
【０１１２】
ここで、ホログラフィックステレオグラムプリンタ装置３は、表示装置４１と、プリンタコントローラ６６と、プリンタコントローラ６６によって制御されるプリンタシステム６７とを備えている。なお、ここでは、上述した露光用シャッタ３２や記録媒体送り機構４３のようにホログラフィックステレオグラム作成時に駆動される機構全体をまとめてプリンタシステム６７と称している。
【０１１３】
そして、このホログラフィックステレオグラムプリンタ装置３は、画像処理ボード６５から送られてくる画像データに基づいて、露光用視差画像列ＧＥを構成する各画像を表示装置４１に順次表示する。そして、ホログラフィックステレオグラムプリンタ装置３は、制御用コンピュータ２による制御に基づいて、プリンタコントローラ６６によってプリンタシステム６７を制御し、表示装置４１への画像表示のタイミングに同期させて、ホログラム用記録媒体３０に要素ホログラムを順次記録していく。これにより、露光用視差画像列ＧＥを構成する各画像がそれぞれ要素ホログラムとしてホログラム用記録媒体３０に記録され、ホログラフィックステレオグラムが作成される。
【０１１４】
つぎに、画像処理ボード６５の構成について、図７を参照して更に詳細に説明する。
【０１１５】
この画像処理ボード６５は、視差画像列を構成する各画像のデータを、例えばＮＴＳＣのビデオレートで順次格納するフレームメモリ７１と、視点変換処理の際に参照されるルックアップテーブルが格納されるルックアップテーブル用メモリ７２などから構成されている。
【０１１６】
フレームメモリ７１には、データの書き込み及び読み出しの速度が十分に速いものを用いたほうが好ましく、具体的には例えば、Fast page modeのＤＲＡＭ（Dynamic Random Access Memory）が好適である。このフレームメモリ７１に画像データを格納する際は、制御用コンピュータ２とのインターフェースを制御するボードコントローラ７３を介して、制御用コンピュータ２からの制御信号が、フレームメモリ７１への画像データの書き込みを制御するライトコントローラ（Write Controller）７４に送られる。そして、ライトコントローラ７４は、制御用コンピュータ２からの制御信号に基づいてフレームメモリ７１を駆動し、これにより、Ｄ１デコーダ６４からＩ／Ｏコントローラ７５を介して送られてきた画像データが、フレームメモリ７１に順次書き込まれる。
【０１１７】
ルックアップテーブル用メモリ７２は、視点変換処理の際に参照されるルックアップテーブルが格納されるルックアップテーブル格納手段である。このルックアップテーブル用メモリ７２には、読み出し速度が十分に速いものを用いたほうが好ましく、具体的には例えば、ＳＲＡＭ（Static Random Access Memory）が好適である。そして、このルックアップテーブル用メモリ７２には、視点変換処理を行う前の視差画像列である元視差画像列ＧＤを構成する各画像の画素と、視点変換処理を施した後の新たな視差画像列である露光用視差画像列ＧＥを構成する各画像の画素との対応関係を示すテーブルであるルックアップテーブルが格納される。
【０１１８】
なお、ここでは、視差画像列が水平視差のみを持つものとして、ルックアップテーブルには、各画素単位の対応関係ではなく、画素列を単位とした対応関係を記録しておくものとする。すなわち、ルックアップテーブルには、元視差画像列ＧＤを構成する各画像の画素と、露光用視差画像列ＧＥを構成する各画像の画素との対応関係を、一列に並んだ複数の画素からなる画素列を最小単位として記録しておくものとする。
【０１１９】
そして、この画像処理ボード６５は、元視差画像列ＧＤを構成する画像の全データが上述のようにフレームメモリ７１に格納された後、上述したような視点変換処理を行って、露光用視差画像列ＧＥを構成する各画像のデータを順次生成し、当該画像のデータを順次出力する。
【０１２０】
ここで、視点変換処理は、煩雑な演算処理を行うことなく、単に画素列を入れ替えることにより行う。すなわち、ここでの視点変換処理は、ルックアップテーブルに基づいて、元視差画像列ＧＤを構成する画像のデータの中から、露光用視差画像列ＧＥを構成する画像のデータを画素列単位で抽出して、新たな画像のデータを再構成することにより行う。
【０１２１】
具体的には、視点変換処理を行う際に、先ず、ボードコントローラ７３を介して、制御用コンピュータ２からの制御信号が、フレームメモリ７１からの画像データの読み出しを制御するリードコントローラ（Read Controller）７６に送られる。そして、リードコントローラ７６は、制御用コンピュータ２からの制御信号に基づいて、フレームメモリ７１に格納されている画像データの中から、露光用視差画像列ＧＥを構成する画像のデータを画素列単位で選択し、当該画像データをフレームバッファ７７に書き込んでいく。このとき、リードコントローラ７６は、ルックアップテーブル用メモリ７２に格納されたルックアップテーブルを参照し、当該ルックアップテーブルに基づいて、フレームバッファ７７に書き込む画像データの選択を行う。
【０１２２】
なお、リードコントローラ７６とフレームメモリ７１の間には、フレームメモリ７１に格納された画像データの中から、対象となるデータを画面単位で選択するフレームセレクタ７８と、対象となるデータを走査線単位で選択するラインセレクタ７９と、対象となるデータを画素単位で選択するピクセルセレクタ８０とが配されている。そして、フレームメモリ７１からデータを読み出す際は、フレームセレクタ７８、ラインセレクタ７９及びピクセルセレクタ８０によって、対象となるデータが選択される。
【０１２３】
そして、フレームメモリ７１から画素列単位で読み出された画像データは、フレームバッファ７７に１画面分格納される。そして、フレームバッファ７７は、当該フレームバッファ７７に格納された画像データを、制御用コンピュータ２からボードコントローラ７３を介して送られてきた制御信号に基づいて、Ｉ／Ｏコントローラ７５を介して、ホログラフィックステレオグラムプリンタ装置３の表示装置４１に供給する。これにより、表示装置４１に、視点変換処理が施され再構成された画像が表示される。その後、上述したようにホログラフィックステレオグラムプリンタ装置３のプリンタシステム６７を駆動することにより、当該画像がホログラム用記録媒体３０に要素ホログラムとして記録される。
【０１２４】
そして、以上のような新たな画像の再構成と、当該画像の表示装置４１への表示とを、要素ホログラムの記録のタイミングに合わせて、露光用視差画像列ＧＥを構成する各画像分だけ順次行うことにより、ホログラフィックステレオグラムが作成される。
【０１２５】
以上のような画像処理ボード６５でのデータ処理について、図８のタイミングチャートを参照して更に詳細に説明する。なお、ここでは、画像処理ボード６５からの画像データ出力が、有効解像度が６４０[pixel]×４８０[pixel]のＶＧＡ（Video Graphics Array）の場合を例に挙げる。
【０１２６】
この画像処理ボード６５には、カメラ５１による視差画像列の撮影開始と同時に、カメラ５１によって撮影された画像のデータの取り込みを指示する制御信号が制御用コンピュータ２から送られ、これにより、図８（Ａ）に示すように、画像処理ボード６５のフレームメモリ７１への画像データの書き込みが開始される。なお、図８（Ａ）は、画像処理ボード６５のフレームメモリ７１への画像データの書き込みのタイミングチャートを示している。
【０１２７】
図８（Ａ）に示すように、フレームメモリ７１への画像データの書き込み時には、視差画像列を構成する各画像のデータがカメラ５１によって撮影された順に、例えばＮＴＳＣのビデオレートにて、フレームメモリ７１に格納される。なお、図８（Ａ）において、frameorg1,frameorg2,・・・ ,frame org 480は、フレームメモリ７１に格納される画像データのフレーム番号を示しており、line1,line2,・・・,line480は各画像の走査線番号を示しており、p1,p2,・・・,p640は、１走査線上における各画素を示している。
【０１２８】
なお、Ｄ１フォーマットでは、１フレームあたりの有効解像度は７２０[pixel]×４８５[pixel]であるが、画像処理ボード６５からの画像データ出力がＶＧＡであるので、ここでは、Ｄ１デコーダ６４から送られてきた画像データに対して解像度変換を施して、６４０[pixel]×４８０[pixel]とした上で、フレームメモリ７１に書き込むようにしている。
【０１２９】
そして、カメラ５１による視差画像列の撮影が完了し、元視差画像列ＧＤのデータが全て画像処理ボード６５に送られたら、カメラ５１によって撮影された画像のデータの取り込み終了を指示する制御信号が制御用コンピュータ２から画像処理ボード６５に送られ、これにより、画像データのフレームメモリ７１への書き込みが終了する。
【０１３０】
このようにして、例えば図９に示すように、複数の画像からなる元視差画像列ＧＤが、画像処理ボード６５のフレームメモリ７１に格納される。ここで、図９は、フレームメモリ７１のメモリマップの一例を示したものであり、フレームメモリ７１に格納された元視差画像列ＧＤのデータについて、フレームメモリ７１の内部における配置を示している。
【０１３１】
なお、図９に示したメモリマップでは、説明を簡単にするために、画像信号中に含まれるブランキング信号等については無視している。また、図９のメモリマップに示したメモリアドレスは一例であり、特にこれに限定されるものではなく、システム構成上扱いやすいものとすればよい。
【０１３２】
そして、画像処理ボード６５は、以上のようにフレームメモリ７１に格納された元視差画像列ＧＤのデータに対して、ルックアップテーブルをもとに視点変換処理を施す。この視点変換処理は、ルックアップテーブルをもとに、走査線上に並んだ画素列単位での画素の入れ替え処理を行うことによって実現される。すなわち、画像処理ボード６５は、ルックアップテーブルの情報をもとに、フレームセレクタ７８、ラインセレクタ７９及びピクセルセレクタ８０により、視点変換処理が施された画像を再構成するのに必要な画素列を、フレームメモリ７１に格納されている画像データから抽出して読み出していき、新たな画像を生成する。
【０１３３】
ここで、ルックアップテーブルの一例を図１０に示す。図１０に示すように、ルックアップテーブルは、新たに構成する各画像（framenew1,framenew1,・・・,framenew480）に対応する、元視差画像列ＧＤのフレーム番号（frameorg）と走査線番号（line）とが記録されてなる。
【０１３４】
そして、画像処理ボード６５は、このようなルックアップテーブルの情報をもとに、フレームメモリ７１に格納されている画像データを、画素列単位（すなわち走査線単位）にて抽出して読み出していき、新たな画像を生成する。
【０１３５】
ここで、図８（Ｂ）に、フレームメモリ７１からの画像データ読み出しのタイミングチャートの一例を示す。図８（Ｂ）では、フレームメモリ７１に格納されている画像データから、frameorg1のline1上の画素列のデータ、frameorg2のline1上の画素列のデータ、・・・・、frameorg480のline1上の画素列のデータを順次抽出して読み出すことにより、新しい画像（framenew1）のデータが再構成される例を示している。
【０１３６】
なお、図８に示したタイミングチャートや、図１０に示したルックアップテーブルに記されたフレーム番号（frameorg1,frameorg2,・・・）や走査線番号（line1,line2,・・・）は一例であって、これらは、視点変換処理のパラメータによって異なるものとなる。
【０１３７】
そして、画像処理ボード６５は、元視差画像列ＧＤのデータが格納されているフレームメモリ７１から、ルックアップテーブルに基づいて、図８（Ｂ）に示したように、画素列単位で画像データを抽出していくことにより、各走査線上の画素列の入れ替え処理を行い、視点変換処理が施された新たな画像（framenew1,framenew2,・・・）を順次再構成し出力する。
【０１３８】
ここで、画像の再構成は、前述のように要素ホログラムの記録のタイミングと同期して行うようにする。
【０１３９】
具体的には、先ず、ホログラフィックステレオグラムプリンタ装置３の露光用シャッタ３２が開放されて要素ホログラムの記録を行っている間に、１画面分の視点変換処理を行い、再構成された１画面分の画像データを、画像処理ボード６５のフレームバッファ７７に一時的に保存しておく。
【０１４０】
そして、１要素ホログラムの記録が完了して、露光用シャッタ３２が閉じられたら、フレームバッファ７７に保存しておいた画像データを表示装置４１に転送して、表示装置４１に表示する画像を更新する。また、この間にホログラム用記録媒体３０を１要素ホログラム分だけ送っておく。
【０１４１】
そして、表示装置４１に表示されている画像が更新され、且つホログラム用記録媒体３０が１要素ホログラム分だけ送られたら、再び露光用シャッタ３２を開放して、要素ホログラムの記録を行う。
【０１４２】
以上の動作を露光用視差画像列ＧＥを構成する画像の数だけ繰り返すことにより、ホログラフィックステレオグラムが作成される。
【０１４３】
このように、要素ホログラムの記録のタイミングに同期させて、画像の再構成を行うようにすることで、視差画像列の撮影後、直ぐに（実質的にほぼリアルタイムにて）ホログラフィックステレオグラムを速やかに作成することが可能となる。
【０１４４】
なお、フレームバッファ７７が無い場合には、１要素ホログラムの記録が完了して露光用シャッタ３２を閉じる毎に視点変換処理を行うようにする。すなわち、フレームバッファ７７が無い場合には、露光用シャッタ３２を閉じた後、直ぐに制御用コンピュータ２から画像処理ボード６５に対して視点変換処理の開始を指示する制御信号を送出して、ルックアップテーブルに基づく画素列単位のデータの抽出を行わせる。そして、ルックアップテーブルに基づいて抽出された画素列単位のデータ（すなわち走査線単位のデータ）を、画像処理ボード６５から表示装置４１に順次転送していく。そして、１画面分のデータが表示装置４１に転送され、表示装置４１によって表示される画像が更新されたら、再び露光用シャッタ３２を開放して、要素ホログラムの記録を行うようにする。
【０１４５】
ところで、上記画像処理ボード６５のルックアップテーブル用メモリ７２に格納しておくルックアップテーブルは、元視差画像列ＧＤを構成する各画像の画素と、露光用視差画像列ＧＥを構成する各画像の画素との対応関係をコンピュータによって予め計算して作成しておく。
【０１４６】
ここで、ルックアップテーブルの作成には、制御用コンピュータ２を用いるようにしてもよい。この場合は、ホログラフィックステレオグラムの作成を行う前に、視差画像列の撮影方式や撮影時のパラメータ（撮影距離等）、並びにホログラフィックステレオグラム作成時のパラメータ（露光ピッチ等）などから、所望する視点変換処理に対応したルックアップテーブルを制御用コンピュータ２によって作成し、当該ルックアップテーブルを、ボードコントローラ７３を介してルックアップテーブル用メモリ７２に転送しておく。
【０１４７】
なお、ルックアップテーブル用メモリ７２は、ＳＲＡＭ等のような書き換え可能な記憶装置からなることが好ましい。ルックアップテーブル用メモリ７２を書き換え可能な記憶装置としておけば、視差画像列の撮影方式や撮影時のパラメータ、或いはホログラフィックステレオグラム作成時のパラメータなどが変更となり、元視差画像列ＧＤを構成する各画像の画素と、露光用視差画像列ＧＥを構成する各画像の画素との対応関係が変わった場合に、当該対応関係を改めて計算してルックアップテーブルを作成し直して、ルックアップテーブル用メモリ７２の内容を更新することが可能となる。
【０１４８】
このようにルックアップテーブル用メモリ７２を書き換え可能としておけば、視差画像列の撮影方式や撮影時のパラメータ、或いはホログラフィックステレオグラム作成時のパラメータなどが変更となっても、ルックアップテーブル用メモリ７２に格納するルックアップテーブルを更新するだけで、共通の画像処理ボード６５を用いて視点変換処理を行うことが可能となる。換言すれば、所望する視点変換処理に応じて制御用コンピュータ２によりルックアップテーブルを作成して、ルックアップテーブル用メモリ７２に格納するルックアップテーブルの内容を更新するようにすることで、パラメータの異なる様々な視点変換処理に対応することが可能となる。
【０１４９】
なお、ルックアップテーブルは、視差画像列の撮影方式や撮影時のパラメータ、或いはホログラフィックステレオグラム作成時のパラメータなどが変更となる度にその都度計算し直すのではなく、予め様々なパラメータに対応した多数のルックアップテーブルを作成して制御用コンピュータ２に保存しておくようにしてもよい。この場合は、パラメータが変更となる毎に、対応するルックアップテーブルを制御用コンピュータ２からルックアップテーブル用メモリ７２に転送して、ルックアップテーブル用メモリ７２に格納するルックアップテーブルの内容を更新するようにする。これにより、パラメータの変更に速やかに対応することが可能となる。
【０１５０】
ところで、上述したように走査線上の画素列単位で画素の入れ替えを行うことにより視点変換処理を行うにあたって、元視差画像列ＧＤが走査線方向に視差情報を有する場合には、元視差画像列ＧＤを構成する各画像を９０度回転変換した上で、視点変換処理を行うようにする。
【０１５１】
具体的には、例えば、上述した画像データ生成装置１において、Ｄ１デコーダ６４と画像処理ボード６５との間に、画像を＋９０度回転させる処理を行う画像回転処理回路を配するとともに、画像処理ボード６５のフレームバッファ７１とＩ／Ｏコントローラ７５との間に、画像を−９０度回転させる処理を行う画像回転処理回路を配する。
【０１５２】
そして、画像処理ボード６５に画像データを入力する前に、元視差画像列ＧＤを構成する各画像を、画像回転処理回路によって＋９０度回転させておく。そして、画像処理ボード６５では、このように＋９０度回転変換がなされた視差画像列をもとに視点変換処理を行う。これにより、視差画像列撮影システム６１から供給される元視差画像列ＧＤが走査線方向に視差情報を有していたとしても、画像処理ボード６５では、上述の例と同様に、走査線上の画素列単位にて画素の入れ替えを行うことにより視点変換処理を行うことができる。
【０１５３】
そして、画像処理ボード６５は、このように視点変換処理が施されて生成された露光用視差画像列ＧＥのデータを、当該露光用視差画像列ＧＥを構成する各画像を画像回転処理回路によって−９０度回転させた上で、Ｉ／Ｏコントローラ７５を介して表示装置４１へ出力する。これにより、露光用視差画像列ＧＥの画像の向きが、視差画像列撮影システム６１によって撮影されたもともとの画像の向きと同一とされた上で、露光用視差画像列ＧＥの各画像が表示装置４１に順次表示される。
【０１５４】
ところで、視差画像列の撮影方法として、図１１に示すように、被写体５０を中心としてカメラ５１を回動させて、異なる方向から被写体５０を撮影することにより、視差画像列を撮影する方法もある。なお、この方法は、カメラ５１を固定しておき被写体５０を回動させて異なる方向から被写体５０を撮影することにより視差画像列を撮影する方法と等価である。
【０１５５】
このように被写体５０又はカメラ５１を回動させて視差画像列を撮影した場合、図１２（Ａ）に示すように、被写体５０の正面にカメラ５１が位置しているときは、図１２（Ｂ）に示すように、撮影された画像５５に被写体５６が歪むことなく写るが、図１３（Ａ）に示すように、被写体５０の正面にカメラ５１が位置していないときには、図１３（Ｂ）に示すように、撮影された画像５７に写る被写体５８に歪みが生じる。
【０１５６】
そこで、被写体５０又はカメラ５１を回動させて視差画像列を撮影した場合には、上述のような視点変換処理を行う際に、このような歪みの補正処理も行うことが好ましい。なお、このような歪みは、一般にキーストン歪みと称されている。
【０１５７】
このようなキーストン歪みの補正は、図１４に示すように、被写体５０の正面にカメラ５１が位置しているときを基準として、被写体５０又はカメラ５１を回動させたときの角度をθとし、被写体５０又はカメラ５１の回動中心５０ａとカメラ５１の視点位置５１ａとの間の距離をｄａとしたとき、下記式（２）で定義される比率ratioで、各縦ライン毎（すなわち画素列毎に）に縦方向に画像の拡大又は縮小を行うことにより実現できる。
【０１５８】
ratio＝｛ｄａ／（cosα＋sinα・tanθ）｝／（ｄａ／cosα）
＝１＋tanα・tanθ ・・・（２）
ただし、上記式（２）において、αは、図１４に示すように、被写体５０又はカメラ５１の回動中心５０ａと、カメラ５１の視点位置５２ａとを結ぶ仮想線をＬａとし、拡大又は縮小の対象となる画像位置Ｐａと、カメラ５１の視点位置５１ａとを結ぶ仮想線をＬｂとしたとき、仮想線Ｌａと仮想線Ｌｂとの間の角度を示している。
【０１５９】
このようにキーストン歪みを補正する際は、各画素列毎に上記比率ratioを予め求めておき、当該比率ratioに基づいて、各画素列毎に画像の拡大又は縮小処理を行うようにする。具体的には、上記ルックアップテーブルに、元視差画像列ＧＥを構成する各画像の画素列と、露光用視差画像列ＧＥを構成する各画像の画素列との対応関係のほかに、キーストン歪みを補正するための補正パラメータ（すなわち上記比率ratio）を画素列毎に記録しておく。そして、上記視点変換処理を行う際に、ルックアップテーブルに基づいて画素の入れ替えを行うとともに、当該ルックアップテーブルに含まれている上記補正パラメータに基づいて、各画素列毎に画像の拡大又は縮小処理を行うことにより、キーストン歪みの補正も行うようにする。
【０１６０】
このようにキーストン歪みの補正処理を行うことにより、被写体５０又はカメラ５１を回動させて撮影した視差画像列の画像データは、カメラ５１を平行に動かしたときに得られる画像データと同様なものとなる。したがって、このようにキーストン歪みを補正した上でホログラフィックステレオグラムを作成するようにすれば、キーストン歪みに起因する画像の乱れが生じるようなことはなくなる。
【０１６１】
【発明の効果】
以上詳細に説明したように、本発明に係る画像データ生成装置によれば、視差情報を含む複数の画像からなる視差画像列のデータに対して視点変換処理を行い新たな視差画像列のデータを生成するにあたって、新たな視差画像列のデータを速やかに生成することが可能となる。また、本発明によれば、新たな視差画像列は、ホログラフィックステレオグラムに記録される視差画像列のデータであり視差画像列を構成する各画像がホログラフィックステレオグラムを構成する要素ホログラムとしてそれぞれ記録されるものであり、各要素ホログラムを記録するタイミングに同期させて、上記視点変換処理が施された視差画像列のデータを、該新たな視差画像列を構成する各画像毎に順次出力する。したがって、本発明に係る画像データ生成装置を用いることにより、ホログラフィックステレオグラムを短時間で作成することが可能となる。
【０１６２】
また、本発明に係る画像データ生成方法によれば、視差情報を含む複数の画像からなる視差画像列のデータに対して視点変換処理を行い新たな視差画像列のデータを生成するにあたって、新たな視差画像列のデータを速やかに生成することが可能となる。また、本発明によれば、新たな視差画像列は、ホログラフィックステレオグラムに記録される視差画像列のデータであり視差画像列を構成する各画像がホログラフィックステレオグラムを構成する要素ホログラムとしてそれぞれ記録されるものであり、各要素ホログラムを記録するタイミングに同期させて、上記視点変換処理が施された視差画像列のデータを、該新たな視差画像列を構成する各画像毎に順次出力する。したがって、本発明に係る画像データ生成方法を適用することにより、ホログラフィックステレオグラムを短時間で作成することが可能となる。
【図面の簡単な説明】
【図１】 ホログラフィックステレオグラム作成システムの一構成例を示すブロック図である。
【図２】 ホログラフィックステレオグラムプリンタ装置の光学系の一構成例を示す図である。
【図３】 re-centering方式による視差画像列の撮影方法を示す模式図である。
【図４】 視点変換処理を説明するための図であり、露光用視差画像列ＧＥと元視差画像列ＧＤとの関係を示す図である。
【図５】 視点変換処理を説明するための図であり、露光用視差画像列ＧＥのうちの一つの画像g21と、元視差画像列ＧＤの各画像g11,g12,・・・,g1mとの関係を示す図である。
【図６】 図１に示したホログラフィックステレオグラム作成システムの構成を詳細に示したブロック図である。
【図７】 画像処理ボードの構成を示すブロック図である。
【図８】 図８（Ａ）は、フレームメモリへの画像データ書き込み時のタイミングチャートの一例を示す図であり、図８（Ｂ）は、フレームメモリからの画像データ読み出し時のタイミングチャートの一例を示す図である。
【図９】 元視差画像列ＧＤのデータが格納されたフレームメモリのメモリマップの一例を示す図である。
【図１０】 ルックアップテーブルの一例を示す図である。
【図１１】 被写体を中心としてカメラを回動させて、異なる方向から被写体を撮影することにより、視差画像列を撮影する方法を示す図である。
【図１２】 図１１に示したように視差画像列を撮影する場合について、被写体の正面にカメラが位置しているときの撮影の様子と撮影された画像とを示す図である。
【図１３】 図１１に示したように視差画像列を撮影する場合について、被写体の正面にカメラが位置していないときの撮影の様子と撮影された画像とを示す図である。
【図１４】 キーストン歪みの補正処理に用いるパラメータを示す図である。
【図１５】 ホログラフィックステレオグラムの作成方法を示す模式図である。
【図１６】 straight track方式による視差画像列の撮影方法を示す模式図である。
【図１７】 視点変換処理を行わずに作成したホログラフィックステレオグラムの再生像を観察する様子を示す模式図である。
【図１８】 視点変換処理を行った上で作成したホログラフィックステレオグラムの再生像を観察する様子を示す模式図である。
【符号の説明】
１ 画像データ生成装置、２ 制御用コンピュータ、３ ホログラフィックステレオグラムプリンタ装置、４１ 表示装置、５１ カメラ、６１ 視差画像列撮影システム、６２ 画像データ処理部、６３ カメラコントローラ、６４ Ｄ１デコーダ、６５ 画像処理ボード、６６ プリンタコントローラ、６７ プリンタシステム、７１ フレームメモリ、７２ ルックアップテーブル用メモリ、７３ ボードコントローラ、７４ ライトコントローラ、７５ Ｉ／Ｏコントローラ、７６ リードコントローラ、７７ フレームバッファ、７８ フレームセレクタ、７９ ラインセレクタ、８０ ピクセルセレクタ
Claims (15)
- 視差情報を含む複数の画像からなる視差画像列のデータに対して視点変換処理を行い新たな視差画像列のデータを生成する画像データ生成装置であって、
元の視差画像列を構成する各画像の画素と、ホログラフィックステレオグラムに記録される視差画像列のデータであり視差画像列を構成する各画像がホログラフィックステレオグラムを構成する要素ホログラムとしてそれぞれ記録される新たな視差画像列を構成する各画像の画素との対応関係を示すルックアップテーブルが格納されるルックアップテーブル格納手段を備え、
上記ルックアップテーブル格納手段に格納されたルックアップテーブルに基づいて画素の入れ替えを行うことにより上記視点変換処理を行い、上記元の視差画像列のデータから、上記新たな視差画像列のデータを生成し、
上記各要素ホログラムを記録するタイミングに同期させて、上記視点変換処理が施された視差画像列のデータを、該新たな視差画像列を構成する各画像毎に順次出力することを特徴とする画像データ生成装置。 - 視差画像列のデータが格納される画像データ格納手段を備え、
上記新たな視差画像列のデータを生成する際に、上記元の視差画像列を構成する各画像のデータを上記画像データ格納手段に順次格納していき、該元の視差画像列の全データを上記画像データ格納手段に格納した上で上記視点変換処理を行うことを特徴とする請求項１記載の画像データ生成装置。 - 上記元の視差画像列を構成する各画像の画素と、上記新たな視差画像列を構成する各画像の画素との対応関係を求めて、上記ルックアップテーブルを生成するルックアップテーブル生成手段を備えることを特徴とする請求項１記載の画像データ生成装置。
- 上記ルックアップテーブル格納手段は、データの書き換えが可能とされており、所望する視点変換処理に応じてルックアップテーブルの内容を書き換えるようになされていることを特徴とする請求項１記載の画像データ生成装置。
- 上記視差画像列が一方向の視差のみを有する場合、
上記ルックアップテーブルには、上記元の視差画像列を構成する各画像の画素と、上記新たな視差画像列を構成する各画像の画素との対応関係が、一列に並んだ複数の画素からなる画素列を最小単位として記録され、
上記視点変換処理を行う際に、上記画素列を最小単位として画素の入れ替えを行うことを特徴とする請求項１記載の画像データ生成装置。 - 上記画素列は、画像を表示装置に表示する際の走査線に対応していることを特徴とする請求項５記載の画像データ生成装置。
- 上記元の視差画像列が走査線方向にのみ視差を有する場合には、該元の視差画像列を構成する各画像を９０度回転変換した上で、上記視点変換処理を行うことを特徴とする請求項６記載の画像データ生成装置。
- 上記ルックアップテーブルには、上記元の視差画像列を構成する各画像の画素と、上記新たな視差画像列を構成する各画像の画素との対応関係のほかに、キーストン歪みを補正するための補正パラメータが含まれており、上記視点変換処理を行う際に、該ルックアップテーブルに基づいて画素の入れ替えを行うとともに、該補正パラメータに基づいてキーストン歪みの補正を行うことを特徴とする請求項１記載の画像データ生成装置。
- 視差情報を含む複数の画像からなる視差画像列のデータに対して視点変換処理を行い新たな視差画像列のデータを生成する際に、
元の視差画像列を構成する各画像の画素と、ホログラフィックステレオグラムに記録される視差画像列のデータであり視差画像列を構成する各画像がホログラフィックステレオグラムを構成する要素ホログラムとしてそれぞれ記録される新たな視差画像列を構成する各画像の画素との対応関係を示すルックアップテーブルを予め作成しておき、
上記ルックアップテーブルに基づいて画素の入れ替えを行うことにより上記視点変換処理を行うとともに、上記各要素ホログラムを記録するタイミングに同期させて、該視点変換処理が施された視差画像列のデータを、該新たな視差画像列を構成する各画像毎に順次出力し、上記元の視差画像列のデータから新たな視差画像列のデータを生成することを特徴とする画像データ生成方法。 - 上記新たな視差画像列のデータを生成する際に、上記元の視差画像列を構成する各画像のデータを画像データ格納手段に順次格納していき、該元の視差画像列の全データを画像データ格納手段に格納した上で上記視点変換処理を行うことを特徴とする請求項９記載の画像データ生成方法。
- 上記ルックアップテーブルを書き換え可能な記憶装置に記憶させておくようにし、
上記視点変換処理を行う前に、所望する視点変換処理に応じてルックアップテーブルの内容を書き換えることを特徴とする請求項９記載の画像データ生成方法。 - 上記視差画像列が一方向の視差のみを有する場合、
上記ルックアップテーブルに、上記元の視差画像列を構成する各画像の画素と、上記新たな視差画像列を構成する各画像の画素との対応関係を、一列に並んだ複数の画素からなる画素列を最小単位として記録しておき、上記視点変換処理を行う際に、上記画素列を最小単位として画素の入れ替えを行うことを特徴とする請求項９記載の画像データ生成方法。 - 上記画素列は、画像を表示装置に表示する際の走査線に対応していることを特徴とする請求項１２記載の画像データ生成方法。
- 上記元の視差画像列が走査線方向にのみ視差を有する場合には、該元の視差画像列を構成する各画像を９０度回転変換した上で、上記視点変換処理を行うことを特徴とする請求項１３記載の画像データ生成方法。
- 上記ルックアップテーブルには、上記元の視差画像列を構成する各画像の画素と、上記新たな視差画像列を構成する各画像の画素との対応関係のほかに、キーストン歪みを補正するための補正パラメータが含まれており、上記視点変換処理を行う際に、該ルックアップテーブルに基づいて画素の入れ替えを行うとともに、該補正パラメータに基づいてキーストン歪みの補正を行うことを特徴とする請求項９記載の画像データ生成方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01076798A JP4066488B2 (ja) | 1998-01-22 | 1998-01-22 | 画像データ生成装置及び画像データ生成方法 |
| EP99300448A EP0932088A3 (en) | 1998-01-22 | 1999-01-21 | Picture data generating methods and apparatus |
| US09/234,943 US6369831B1 (en) | 1998-01-22 | 1999-01-21 | Picture data generating method and apparatus |
| KR1019990001931A KR100610518B1 (ko) | 1998-01-22 | 1999-01-22 | 화상 데이터 발생 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01076798A JP4066488B2 (ja) | 1998-01-22 | 1998-01-22 | 画像データ生成装置及び画像データ生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11215520A JPH11215520A (ja) | 1999-08-06 |
| JP4066488B2 true JP4066488B2 (ja) | 2008-03-26 |
Family
ID=11759491
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01076798A Expired - Fee Related JP4066488B2 (ja) | 1998-01-22 | 1998-01-22 | 画像データ生成装置及び画像データ生成方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6369831B1 (ja) |
| EP (1) | EP0932088A3 (ja) |
| JP (1) | JP4066488B2 (ja) |
| KR (1) | KR100610518B1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024143599A1 (ko) * | 2022-12-28 | 2024-07-04 | 한국전자기술연구원 | 3차원 동영상 재생이 가능한 홀로그램 프린팅 방법 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002123159A (ja) * | 2000-10-16 | 2002-04-26 | Sony Corp | ホログラフィックステレオグラム印刷装置及び方法 |
| JP2005353047A (ja) * | 2004-05-13 | 2005-12-22 | Sanyo Electric Co Ltd | 立体画像処理方法および立体画像処理装置 |
| US7307802B2 (en) * | 2004-06-07 | 2007-12-11 | Fluidigm Corporation | Optical lens system and method for microfluidic devices |
| US7656564B2 (en) * | 2004-06-24 | 2010-02-02 | Daewoo Electronics Corporation | Apparatus and method for compensating for pixel distortion in reproduction of hologram data |
| KR100837365B1 (ko) * | 2007-07-27 | 2008-06-12 | 광운대학교 산학협력단 | 룩업 테이블을 이용한 컴퓨터 형성 홀로그램 생성과 재생방법 및 그 장치 |
| US20090153550A1 (en) * | 2007-12-18 | 2009-06-18 | Disney Enterprises, Inc. | Virtual object rendering system and method |
| KR101021127B1 (ko) | 2009-04-06 | 2011-03-14 | 광운대학교 산학협력단 | 룩업 테이블과 영상의 공간적 중복성을 이용한 컴퓨터 형성 홀로그램 산출 방법 및 그 장치 |
| KR100973031B1 (ko) * | 2009-04-06 | 2010-07-30 | 광운대학교 산학협력단 | 룩업 테이블과 영상의 시간적 중복성을 이용한 3차원 동영상 컴퓨터 형성 홀로그램 생성 방법 및 그 장치 |
| CN101995756A (zh) * | 2009-08-26 | 2011-03-30 | 鸿富锦精密工业（深圳）有限公司 | 阵列摄影机*** |
| JP5510723B2 (ja) * | 2010-05-20 | 2014-06-04 | ソニー株式会社 | 立体画像表示装置および方法 |
| JP5944170B2 (ja) * | 2011-05-11 | 2016-07-05 | アイキューブド研究所株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| US9363498B2 (en) * | 2011-11-11 | 2016-06-07 | Texas Instruments Incorporated | Method, system and computer program product for adjusting a convergence plane of a stereoscopic image |
| JP2019087008A (ja) | 2017-11-07 | 2019-06-06 | 東芝テック株式会社 | 画像処理システム及び画像処理方法 |
| KR102198217B1 (ko) * | 2018-04-11 | 2021-01-04 | 한국전자통신연구원 | 순람표에 기반한 스티칭 영상 생성 장치 및 방법 |
| US10827162B1 (en) | 2019-04-15 | 2020-11-03 | Synaptive Medical (Barbados) Inc. | Augmented optical imaging system for use in medical procedures |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4964684A (en) * | 1988-12-28 | 1990-10-23 | John Iovine | Holographic image recording using liquid crystal |
| US5751927A (en) * | 1991-03-26 | 1998-05-12 | Wason; Thomas D. | Method and apparatus for producing three dimensional displays on a two dimensional surface |
| US5703961A (en) * | 1994-12-29 | 1997-12-30 | Worldscape L.L.C. | Image transformation and synthesis methods |
| US6108440A (en) * | 1996-06-28 | 2000-08-22 | Sony Corporation | Image data converting method |
-
1998
- 1998-01-22 JP JP01076798A patent/JP4066488B2/ja not_active Expired - Fee Related
-
1999
- 1999-01-21 EP EP99300448A patent/EP0932088A3/en not_active Withdrawn
- 1999-01-21 US US09/234,943 patent/US6369831B1/en not_active Expired - Fee Related
- 1999-01-22 KR KR1019990001931A patent/KR100610518B1/ko not_active IP Right Cessation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024143599A1 (ko) * | 2022-12-28 | 2024-07-04 | 한국전자기술연구원 | 3차원 동영상 재생이 가능한 홀로그램 프린팅 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR19990068071A (ko) | 1999-08-25 |
| EP0932088A2 (en) | 1999-07-28 |
| EP0932088A3 (en) | 1999-09-15 |
| KR100610518B1 (ko) | 2006-08-09 |
| JPH11215520A (ja) | 1999-08-06 |
| US6369831B1 (en) | 2002-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4066488B2 (ja) | 画像データ生成装置及び画像データ生成方法 | |
| US6108440A (en) | Image data converting method | |
| Kollin et al. | Real-time display of 3-D computed holograms by scanning the image of an acousto-optic modulator | |
| JPH10239785A (ja) | 立体像記録再生装置 | |
| US6694882B2 (en) | Holographic stereogram printing apparatus and a method therefor | |
| US6757086B1 (en) | Hologram forming apparatus and method, and hologram | |
| JPH09113846A (ja) | 立体画像表示装置及びその方法 | |
| JP4534337B2 (ja) | 撮影装置及び撮影方法、並びに、画像生成装置及び画像生成方法 | |
| US6870651B2 (en) | Apparatus and method for generating a dynamic image | |
| JP3596174B2 (ja) | 画像データ生成方法 | |
| EP1927035A1 (en) | Image capture system for a digital holographic printer | |
| JP4288722B2 (ja) | 画像データ作成装置及び作成方法、画像データ変換装置及び変換方法、ホログラフィックステレオグラム作成装置及び作成方法、記録媒体並びにデータ伝送方法 | |
| JP2000066568A (ja) | 視差画像列撮像装置 | |
| JP3891226B2 (ja) | 画像データ生成装置および方法 | |
| JPH1020755A (ja) | 画像データ変換方法 | |
| JP3583634B2 (ja) | 立体映像表示方法並びに装置及びその制御方法を記録した記録媒体 | |
| Kollin | Design and information considerations for holographic television | |
| JP3583611B2 (ja) | ３次元動画像表示装置およびそのための光変調パターンデータの作成方法 | |
| US20060072072A1 (en) | Anamorphic recording method and apparatus | |
| JPH1078742A (ja) | 視差画像列の生成方法 | |
| JP4075151B2 (ja) | 画像処理装置及び画像処理方法 | |
| Wang | A novel 3D display based on micro-volumetric scanning and real time reconstruction of holograms principle | |
| JP2001142383A (ja) | 画像記録装置及び方法 | |
| JP4963477B2 (ja) | 電子ホログラフィ立体映像再生装置 | |
| JPH03249686A (ja) | ホログラフィック立体ハードコピーとその作成方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070828 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071029 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071218 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071231 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110118 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110118 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120118 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130118 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |