JP2006101224A - 画像生成装置、画像生成方法および画像生成プログラム - Google Patents

画像生成装置、画像生成方法および画像生成プログラム Download PDF

Info

Publication number
JP2006101224A
JP2006101224A JP2004285243A JP2004285243A JP2006101224A JP 2006101224 A JP2006101224 A JP 2006101224A JP 2004285243 A JP2004285243 A JP 2004285243A JP 2004285243 A JP2004285243 A JP 2004285243A JP 2006101224 A JP2006101224 A JP 2006101224A
Authority
JP
Japan
Prior art keywords
parallax
video signal
image
image generation
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004285243A
Other languages
English (en)
Inventor
Shingo Yanagawa
新悟 柳川
Yasuaki Yamauchi
康晋 山内
Kazuki Taira
和樹 平
Rieko Fukushima
理恵子 福島
Tatsuo Saishiyu
達夫 最首
Yuzo Hirayama
雄三 平山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2004285243A priority Critical patent/JP2006101224A/ja
Priority to US11/086,232 priority patent/US20060066718A1/en
Publication of JP2006101224A publication Critical patent/JP2006101224A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】インテグラルイメージング方式の立体表示において、取得した際の光線によらないような効果を得ること。
【解決手段】インテグラルイメージング方式の立体表示装置104に立体画像を表示するための視差画像を生成する画像生成装置であって、撮像対象を複数の異なる視差方向からの複数の映像信号を取得する映像信号取得部101と、取得した複数の映像信号に、立体表示装置104の光線方向と逆順の視差方向となるように出力を割当てる映像割当部102と、出力を逆順に割り当てられた複数の映像信号から、視差画像を生成する視差画像生成部103と、を備えた。
【選択図】 図1

Description

本発明は、インテグラルイメージング方式の立体画像表示装置に立体画像を表示するための視差画像を生成する画像生成装置、画像生成方法および画像生成プログラムに関するものである。
二次元画像を表示する画像表示素子を用いて立体画像を表示する手法として、インテグラルイメージング方式(インテグラルフォトグラフィ方式ともいう。)が知られている(例えば、非特許文献1参照)。このインテグラルイメージング方式では、多数の視線方向からの画像を画像表示面に合成表示し、観測者の視点位置に応じて対応する画像を選択的に視認させる光学的画像選択手段を設け、観測者の視点に応じて対応する画像を選択的に視認させる。
具体的には、光学的に画像を選択する手段としてスリット、ピンホール、あるいはレンチキュラーレンズなどのレンズアレイからなる光線方向限定素子を用いて、観測者の視点から視認できる画素を限定し、光線方向限定素子と画像表示素子の幾何学的寸法、相対位置を適正に設定し、画像表示素子における各画素から出射して光線方向限定素子の開口部を通過する光線方向に対応する単位情報を各画素に割り当てることによって、複数の異なる視点から観測した画像情報を含む立体画像が表示可能となる。
ここで、立体画像は、ある視点から所定の方向を観測した場合に得られる視点画像を複数含んだものといえる。インテグラルイメージング方式における立体画像は、視点画像を複数枚単位情報毎に組み合わせ、空間的に並置した表示画像となっている。
このようにインテグラルイメージング方式の立体表示装置では、装置周辺の複数の異なる多方向の光線を光線を再現し、観察者に立体映像を提供している。
H. Hoshino, F. Okano, H. Isono and I. Yuyama "Analysis of resolution limitation of integral photography", J. Opt. Soc. Am, A15 (1998) 2059-2065.
しかしながら、このようなインテグラルイメージング方式を利用した立体表示装置では、立体表示装置の周辺の光線を再現して立体画像を表示しているため、撮像対象を見る位置に応じて異なる映像を正確に表示することができ点で優れているが、取得した際の光線によらないような効果、例えば、立体表示装置の観察者がいずれの方向から観察しても同一の方向から撮像対象を観察しているように見える立体映像を表示することが困難であるという問題がある。
インテグラルイメージング方式の立体表示装置において、全ての視差成分に同一方向から撮像対象を撮影した視差画像を割り当てれば、観察者がいずれの方向から見ても同一方向から撮像対象を観察しているように見える画像を表示することができるが、このように観察できる映像は、立体映像ではなく観察者の両眼視差のない平面映像となってしまう。
一方、多眼方式の立体表示装置では、右眼用映像、左眼用映像が、パララックスバリア方式やレンチキュラレンズ方式により、観察者の片眼ごとにしか立体映像が入らないようにしているため、眼間距離を想定して配置した右眼用、左眼用の2つの映像を入力として立体表示装置に出力することにより、立体表示装置の仕様上観察可能な領域内であれば、観察者がどの位置から見ても同じ向きの立体映像を観察することができる。
しかしながら、インテグラルイメージング方式の立体表示装置では、視域内での視差成分が連続である必要があるため、上述の多眼方式の立体表示装置と同様に、右眼側の視差成分、左眼側の視差成分とを順次繰り返して並べて多視差画像を生成すると、視差成分が連続でなくなり、観察される立体映像が多重像やぼやけ像になってしまう。
本発明は、上記に鑑みてなされたものであって、インテグラルイメージング方式の立体表示において、取得した際の光線によらないような効果を得ることができる画像生成装置、画像生成方法および画像生成プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、インテグラルイメージング方式の立体表示装置に立体画像を表示するための視差画像を生成する画像生成装置であって、撮像対象を複数の異なる視差方向からの複数の映像信号を取得する映像信号取得手段と、前記映像信号取得手段により取得した前記複数の映像信号に、前記立体表示装置の光線方向と逆順の視差方向となるように出力を割当てる映像割当手段と、前記映像信号割当手段によって出力を逆順に割り当てられた前記複数の映像信号から、前記視差画像を生成する視差画像生成手段と、を備えたことを特徴とする。
また、本発明は、上記画像生成装置の方法、プログラムである。
本発明によれば、取得した複数の映像信号に、立体表示装置の光線方向と逆順の視差方向となるように出力を割当てることで、観察者がいずれの方向から見ても同一方向から撮像対象を観察しているように見える画像を表示することができるという効果を奏する。
以下に添付図面を参照して、この発明にかかる画像生成装置、画像生成方法および画像生成プログラムの最良な実施の形態を詳細に説明する。
(実施の形態1)
実施の形態1にかかる画像生成装置は、撮像対象を複数の異なる視差方向から取得した複数の映像信号を立体表示装置が出力する光線方向と逆順に割り当てるものである。
図1は、実施の形態1にかかる画像生成装置の構成を示すブロック図である。本実施の形態の画像生成装置100は、図1に示すように、映像信号取得部101と、映像信号割当部102と、視差画像生成部103とを備えており、立体表示装置104と接続された構成となっている。
映像信号取得部101は、撮像対象を多視点から撮影する複数のカメラ0〜n−1が設けられており、各カメラで撮影した映像を映像信号として取得して、映像信号割当部102に出力するようになっている。
複数のカメラ0〜nー1は、それぞれ撮像対象を多視点で異なる視差方向から撮影するように撮像対象に対して水平方向に並列配置されている。そして、各カメラ0〜n−1の映像信号の視差方向を示すため、左端カメラ0から右端カメラn−1のそれぞれからの映像信号に対して順に視差番号0から視差番号n−1を割り当てている。
映像信号の生成は公知の技術を利用して行う。具体的には、カメラ撮影位置となる視点を設定し、撮影基準面を決定して、撮影基準面上に注視点を設定する。そして、観測者の視点がカメラの視点に相当し、注視点が立体表示装置104の画面中心、撮影基準面が光線方向限定素子の瞳位置となるようにカメラ1〜nを撮影基準面に対して正対させて配置し、撮影する。
本実施の形態では、撮像対象を注視点の手前から飛び出し限界までの領域に配置するか、あるいは注視点の奥から奥行き限界までの領域に配置してカメラ0〜n−1により撮影する。かかる撮影対象の配置の詳細については、後述する。
なお、本実施の形態では、カメラ1〜nによる撮影により映像信号を取得しているが、3Dモデル空間上の仮想カメラによるレンダリング処理により映像信号を取得するように構成してもよい。ここで、レンダリング処理とは、画像データを2次元スクリーンに描画する処理のことである。レンダリング処理においては、仮想カメラと注視点とを設定する。仮想カメラとは、立体表示装置が出力する光線に対応して決定された位置に配置された仮想的なカメラであり、仮想カメラは、立体表示装置104のディスプレイパネルの中央正面に配置される。また、注視点は、ディスプレイパネルの中央に設定される。
映像信号割当部102は、映像信号取得部101から各カメラ0〜n−1で撮像した各映像信号を入力し、各カメラの映像信号を、視差画像生成部103に出力する各映像信号、すなわち立体表示装置104が出力する光線方向と逆順に割り当てる処理を行う。
具体的には、映像信号割当部102は、図1に示すように、撮像対象を左端カメラ0から撮影した映像信号の視差番号を0とし、右端カメラn−1に向かって,順に視差番号を増加させて右端カメラn−1から撮影した映像信号の視差番号をn−1番とした場合に、映像信号取得部101から入力した視差番号0の映像信号を視差番号n−1の映像信号、入力した視差番号1の映像信号を視差番号n−2の映像信号、・・・、入力した視差番号n−1の映像信号を視差番号n−2の映像信号のように逆順に割り当てて視差画像生成部103に出力することによって、各カメラの映像信号を立体表示装置104が出力する光線方向と逆順に割り当てる。
従来の画像生成装置では、各カメラからの映像信号を立体表示装置104が出力する光線方向と正順に割り当てて、視差画像を生成していたが、本実施の形態の画像生成装置100では、このように各カメラからの映像信号を立体表示装置104が出力する光線方向と逆順に割り当てることによって、観察者がいずれの方向から見ても同一方向から撮像対象を観察しているように見える画像を立体表示装置104で表示することを可能としている。
視差画像生成部103は、映像信号割当部102から視差番号を各カメラからの映像信号の視差番号と逆順に割り当てられた複数の映像信号を入力し、撮像対象の立体画像を構成する視差画像を生成する処理を行う。
立体表示装置104は、インテグラルイメージング方式で立体画像を表示するものである。立体表示装置104は、2次元平面状に複数配列された画素ドットを備え、画像を表示可能な画像表示素子(不図示)と、画素ドットから出射する光線方向を限定することにより、水平方向の視認可能な角度を制限する光線方向限定素子(不図示)から構成される。
画像表示素子は画面内の画素ドットの位置ずれが光線の出射方向に大きく影響することから、2次元上に画素ドットがマトリクス配列された、所謂フラットパネルがCRT、プロジェクターよりも好ましく、そのような表示方式として非発光型の液晶パネル(LCD)、発光型のプラズマディスプレイパネル(PDP)、有機EL(エレクトロルミネッセンス)パネルなどが挙げられる。光線方向限定素子は画面垂直方向に母線を有するレンチキュラーレンズ、あるいはスリットが使用可能である。画面水平方向に光線方向を限定するため、必ずしも画面の上下(列方向)全面に渡りレンチキュラーレンズの母線あるいはスリット開口部が連続的に直線状の形状をしていなくても良く、画素ドット配列に適するように列方向に対して1ラインあるいは数ライン毎の断続的な直線で形成されていてもよい。
また、本実施の形態のインテグラルイメージング方式の立体表示装置104においては、光線方向に対して特に規定しなくてはならない条件は無いが、光線方向限定素子のピッチを画素ドットピッチの整数倍、即ち画素ドットの組のピッチに等しくして、平行な光線群で構成し、視差画像の生成を実用上効率的にしている。
なお、かかる立体表示装置104による立体画像の表示は、従来の立体表示装置と同様に行われる。
次に、以上のように構成された本実施の形態にかかる画像生成装置100による視差画像の生成処理について説明する。図2は、視差画像の生成処理の手順を示すフローチャートである。
まず、映像信号取得部101では、複数のカメラ0〜n−1のそれぞれによって異なる視差方向から撮像対象を撮影し、カメラ0〜n−1からの視差番号0〜n−1の映像信号を取得し、取得した各映像信号を映像信号割当部102に出力する(ステップS201)。
ここで、後述するように、観察者がいずれの方向から見ても同一方向から撮像対象を観察しているように見える画像を立体表示装置104で表示するために、映像信号割当部102では、撮像対象を多視点から撮影するカメラ0〜n−1からの視差番号0〜n−1の各映像信号と、インテグラルイメージング方式の立体表示装置104が出力する光線向きを視差方向に逆順に割り当てる処理を行っているが、このような処理を行うことにより、以下のような不具合が生じる場合がある。
すなわち、観察者の右目に撮像対象を左側から撮影した映像が、観察者の左目に撮像対象を右側から撮影した映像が観察されてしまうという逆視状態(逆立体視状態)が生じる。逆視状態では、注視点より奥に配置されている撮像対象の物体が手前に観察される一方、注視点より手前にある撮像対象物体が奥に観察されていまい、撮像対象の面の凹凸関係を正しく認識できなくなるという問題が生じる。このため、本実施の形態では、撮像対象を注視点の手前から飛び出し限界までの領域に配置するか、あるいは注視点の奥から奥行き限界までの領域に配置してカメラ0〜n−1により撮影することによって、逆視状態による手前と奥の不整合性を軽減している。
図3は、インテグラルイメージング方式の立体表示装置104の表示領域を示す説明図である。図3において、撮像対象を撮像対象を注視点の手前から飛び出し限界までの領域Aあるいは注視点の奥から奥行き限界までの領域Bに配置して、撮像対象をカメラ0〜n−1により撮影している。
図2に戻り、ステップS201において映像信号取得部101で取得した各映像信号を映像信号割当部102に出力したら、映像信号割当部102では、映像信号取得部101から視差番号0〜n−1の映像信号を入力し、入力した視差番号0〜n−1の映像信号を、それぞれの視差番号と対応付けて一旦フレームバッファに格納する(ステップS202)。そして、映像信号割当部102は、フレームバッファ中の映像信号の視差番号視差番号0〜n−1を逆順に、すなわち視差番号n−1〜0にそれぞれ変更する(ステップS203)。そして視差番号が逆順に変更された各映像信号を、視差画像生成部103に出力する(ステップS204)。なお、ステップS203における映像信号の割当処理の詳細については、後述する。
次に、視差画像生成部103では、映像信号割当部102から視差番号が逆順に変更された各映像信号を入力し、変更された視差番号0〜n−1の各映像信号から視差画像を生成する(ステップS205)。
次に、ステップS203における映像信号割当部102による映像信号割当処理について説明する。図4は、映像信号割当処理の手順を示すフローチャートである。ここで、説明の都合上、映像信号取得部101から入力された時点で割り当てられている視差番号pの映像信号を映像信号pと表記する。
映像信号割当部102では、まず、視差番号p、qの初期値としてp=0,q=n−1を設定する(ステップS401)。ここで、n−1は最大の視差番号、すなわちカメラの数である。
そして、映像信号pの視差番号pをフレームバッファから取得する(ステップS402)。次に、取得した視差番号pをqに変更して、映像信号pの視差番号を視差番号qに設定する(ステップS403)。そして、視差番号pを1だけ増加し、視差番号qを1だけ減少させる(ステップS404)。次いで、視差番号pが最大の視差番号n−1より大きいか否かを判断し(ステップS405)、大きくない場合には(ステップS405:Yes)、ステップS402からステップS404までの処理を繰り返し実行する。
一方、ステップS405において、視差番号pが最大の視差番号n−1より大きい場合には(ステップS405:Yes)、映像信号割当処理を終了する。
これにより、映像信号の視差番号が逆順に変更される。図5は、映像信号取得部101から入力された時点の視差番号と映像信号とを対応付けて記憶したフレームバッファの内容と、視差番号が逆順に変更された後の視差番号よ映像信号を対応付けて記憶したフレームバッファの内容を示す説明図である。図5に示すように、変更前は映像信号0〜n−1に正順に視差番号0〜n−1が割り当てられているが、変更後は映像信号0〜n−1に対する視差番号が逆順になり、それぞれ視差番号n−1〜0が割り当てられている。
従来の画像生成装置では、各カメラからの映像信号を立体表示装置104が出力する光線方向と正順に割り当てて視差画像を生成し立体表示装置で立体画像を表示していたため、図6に示すように、例えば、観察者Aと観察者Bとで観察位置に応じた立体画像を表示することが可能であったが、図7に示すように、観察者C、観察者Dのように異なる位置、方向から同一に観察できる立体画像を表示することはできなかった。
実施の形態1にかかる画像生成装置100では、映像信号取得部101から各カメラ0〜n−1で撮像した各映像信号を立体表示装置104が出力する光線方向と逆順に割り当てているので、図7に示すようにインテグラルイメージング方式の立体表示装置104において観察者がいずれの方向から見ても同一方向から撮像対象を観察しているように見える立体画像を表示することができる。
なお、本実施の形態では、映像信号割当部102による割当処理を上記のようなソフトウェアによる処理で実現しているが、各映像信号の入力と視差画像生成部103への出力を視差方向に逆順となるようにハードウェア的に接続することにより実現してもよい。
なお、本実施の形態では、視差画像生成部103で生成した視差画像を直ちに立体表示装置104に送り立体画像を表示していたが、本実施の形態の変形例としては、視差画像生成部103で生成した視差画像を一旦記憶部に保存しておくように構成してもよい。
図8は、実施の形態1の変形例の画像生成装置の構成を示すブロック図である。図8に示すように、本変形例の画像生成装置800では、視差画像生成部103によって生成された視差画像を保存する画像記憶部105が設けられている。このような画像記憶部105としては、例えば、ハードディスクドライブ装置(HDD)やメモリ等の記憶媒体を使用する。
本変形例の画像生成装置では、視差画像生成部103によって視差番号が視差方向に対し逆順に割り当てられた複数の映像信号から視差画像を生成した後、生成された視差画像を画像記憶部105に保存する。そして、画像生成装置800に対し立体表示装置104から表示要求を受信した場合に、画像記憶部105に保存されている視差画像を立体表示装置104に送信すればよい。
また、画像記憶部105は、図8に示すように、画像生成装置100内に設ける他、画像生成装置800と立体表示装置104の間に接続して、立体表示装置104から画像記憶部05の視差画像を読み出して表示するように構成してもよい。
(実施の形態2)
実施の形態1にかかる画像生成装置100では、映像信号取得部101によって複数の映像信号を取得した場合、必ず視差番号を視差方向に対し逆順に割り当てていたが、この実施の形態2にかかる画像生成装置では、映像信号取得部によって複数の映像信号を取得し、正順または逆順の切替指令によって、視差番号を視差方向に対し正順に割り当てるか逆順に割り当ててるかを動的に切り替えるものである。
図9は、実施の形態2にかかる画像生成装置の構成を示すブロック図である。本実施の形態の画像生成装置900は、図9に示すように、映像信号取得部101と、映像信号割当部902と、視差画像生成部103と、映像信号記憶部905を備えており、立体表示装置104と接続された構成となっている。
映像信号取得部901は、実施の形態1と同様に、撮像対象を多視点から撮影する複数のカメラ0〜n−1が設けられている。本実施の形態の映像信号取得部901は、各カメラで撮影した映像を映像信号として取得して、取得した各映像信号を映像信号記憶部905に保存する処理を行っている。
ここで、複数のカメラ0〜nー1は、実施の形態1と同様に、それぞれ撮像対象を多視点で異なる視差方向から撮影するように撮像対象に対して水平方向に並列配置され、各カメラ0〜n−1の映像信号の視差方向を示すため、左端カメラ0から右端カメラn−1のそれぞれからの映像信号に対して順に視差番号0から視差番号n−1を割り当てている。
映像信号記憶部905は、映像信号取得部901で取得した各視差番号の複数の映像信号を保存するものであり、具体的には、例えば、ハードディスクドライブ装置(HDD)やメモリ等の記憶媒体である。
映像信号割当部902は、映像信号記憶部905に保存されている各映像信号を取得し、各カメラの映像信号を視差画像生成部103に出力する各映像信号、すなわち立体表示装置104が出力する光線方向と正順または逆順に割り当てる処理を行う。具体的には、入力装置(図示せず)から利用者の切替指令を受け付けて、切替指令が逆順切替指令である場合には、実施の形態1と同様に、取得した視差番号0の映像信号を視差番号n−1の映像信号、取得した視差番号1の映像信号を視差番号n−2の映像信号、・・・、取得した視差番号n−1の映像信号を視差番号n−2の映像信号のように逆順に割り当てて視差画像生成部103に出力する。
一方、切替指令が正順切替指令である場合には、取得した視差番号0〜n−1の各映像信号を、視差番号の割当の変更を行わずに(すなわち、正順のまま)、そのまま視差画像生成部103に出力する。
視差画像生成部103は、実施の形態1と同様に、映像信号割当部902から視差番号を各カメラからの映像信号の視差番号と逆順に割り当てられた複数の映像信号を入力し、撮像対象の立体画像を構成する視差画像を生成する処理を行う。立体表示装置104は、実施の形態1と同様に、インテグラルイメージング方式で立体画像を表示するものである。
次に、以上のように構成された本実施の形態にかかる画像生成装置900による視差画像の生成処理について説明する。図10は、視差画像の生成処理の手順を示すフローチャートである。
まず、映像信号取得部901では、複数のカメラ0〜n−1のそれぞれによって異なる視差方向から撮像対象を撮影し、カメラ0〜n−1からの視差番号0〜n−1の映像信号を取得する(ステップS1001)。そして、映像信号取得部901は、取得した各映像信号を映像信号記憶部905に保存する(ステップS1002)。
次に、映像信号割当部902は、入力装置(図示せず)からの利用者の指令を受付、受け付けた指令が逆順切替指令か否かを判断する(ステップS1003)。そして、受け付けた指令が逆順切替指令である場合には(ステップS1003:Yes)、映像信号割当部902は、映像信号記憶部905から視差番号0〜n−1の映像信号を取得し、取得した視差番号0〜n−1の映像信号を、それぞれの視差番号と対応付けて一旦フレームバッファに格納する(ステップS1004)。そして、映像信号割当部902は、フレームバッファ中の映像信号の視差番号0〜n−1を逆順に、すなわち視差番号n−1〜0にそれぞれ変更する(ステップS1005)。次いで、映像信号割当部902は、視差番号が逆順に変更された各映像信号を視差画像生成部103に出力する(ステップS1007)。なお、ステップS1005における映像信号の割当処理は、実施の形態1の図4で説明した処理と同様に行われる。
次に、視差画像生成部103では、映像信号割当部902から視差番号が逆順に変更された各映像信号を入力し、変更された視差番号0〜n−1の各映像信号から視差画像を生成する(ステップS1008)。
ステップS1003において、受け付けた指令が逆順切替指令でない場合、すなわち正順切替指令である場合には(ステップS1003:No)、映像信号割当部902は、映像信号記憶部905から視差番号0〜n−1の映像信号を取得し、取得した映像信号をそのまま視差番号の変更を行わずに、視差画像生成部103に出力する(ステップS1007)。
次に、視差画像生成部103では、映像信号割当部902から視差番号が正順のままの各映像信号を入力し、視差番号0〜n−1の各映像信号から視差画像を生成する(ステップS1008)。
このように実施の形態2にかかる画像生成装置900では、映像信号取得部901によって複数の映像信号を取得して一旦映像信号記憶部905に保存しておき、利用者からの逆順切替指令または正順切替指令によって、視差番号を視差方向に対し逆順に割り当てるか正順に割り当ててるかを動的に切り替えているので、インテグラルイメージング方式の立体表示装置104において、撮像対象の立体画像を観察者がいずれの方向から見ても同一方向から撮像対象を観察しているように見えるように表示したり、観察者の観察方向によって異なる立体画像を表示することを任意に切り替えることができ、立体画像の表示に多様性を持たせることができる。
なお、実施の形態1および2の画像生成装置は、CPUなどの制御装置と、ROM(Read Only Memory)やRAMなどの記憶装置と、HDD、CDドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。
実施の形態1および2の画像生成装置で実行される画像生成プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、実施の形態1および2の画像生成装置で実行される画像生成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施の形態1および2の画像生成装置で実行される画像生成プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、実施の形態1および2の画像生成プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
実施の形態1および2の画像生成装置で実行される画像生成プログラムは、上述した各部(映像信号割当部、視差画像生成部)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体から画像生成プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、映像信号割当部、視差画像生成部が主記憶装置上に生成されるようになっている。
実施の形態1にかかる画像生成装置の構成を示すブロック図である。 視差画像の生成処理の手順を示すフローチャートである。 インテグラルイメージング方式の立体表示装置の表示領域を示す説明図である。 映像信号割当処理の手順を示すフローチャートである。 映像信号取得部101から入力された時点の視差番号と映像信号とを対応付けて記憶したフレームバッファの内容と、視差番号が逆順に変更された後の視差番号よ映像信号を対応付けて記憶したフレームバッファの内容を示す説明図である。 従来のインテグラルイメージング方式の立体表示装置が出力する光線と観察者の向きから観察される立体映像を示す説明図である。 実施の形態1で生成された視差画像によってインテグラルイメージング方式の立体表示装置が出力する光線と観察者の向きから観察される立体映像を示す説明図である。 実施の形態1の変形例の画像生成装置の構成を示すブロック図である。 実施の形態2にかかる画像生成装置の構成を示すブロック図である。 視差画像の生成処理の手順を示すフローチャートである。
符号の説明
100,800,900 画像生成装置
101,901 映像信号取得部
102,902 映像信号割当部
103 視差画像生成部
104 立体表示装置
105 画像記憶部
905 映像信号記憶部

Claims (8)

  1. インテグラルイメージング方式の立体表示装置に立体画像を表示するための視差画像を生成する画像生成装置であって、
    撮像対象に対して複数の異なる視差方向からの複数の映像信号を取得する映像信号取得手段と、
    前記映像信号取得手段により取得した前記複数の映像信号に、前記立体表示装置の光線方向と逆順の視差方向となるように出力を割当てる映像割当手段と、
    前記映像信号割当手段によって出力を逆順に割り当てられた前記複数の映像信号から、前記視差画像を生成する視差画像生成手段と、
    を備えたことを特徴とする画像生成装置。
  2. 前記映像信号取得手段により取得した前記複数の映像信号に、各視差方向を識別する視差識別情報を、前記映像信号取得手段における前記視差方向の順番と逆順にして割り当て、
    前記視差画像生成手段は、前記映像信号割当手段によって前記視差識別情報を前記視差方向の順番と逆順にして割り当てられた前記複数の映像信号から、前記視差画像を生成することを特徴とする請求項1に記載の画像生成装置。
  3. 前記視差画像を記憶する画像記憶手段を更に備え、
    前記視差画像生成手段は、さらに、生成された前記視差画像を前記画像記憶手段に保存することを特徴とする請求項1または2に記載の画像生成装置。
  4. 前記映像信号割当手段は、逆順割り当ての指示があった場合に、前記映像信号取得手段により取得した前記複数の映像信号に、前記立体表示装置の光線方向と逆順の視差方向となるように出力を割当てることを特徴とする請求項1〜3のいずれか一つに記載の画像生成装置。
  5. 前記映像信号取得手段によって取得した映像信号記憶手段をさらに備え、
    前記映像信号割当手段は、逆順割り当ての指示があった場合に、前記映像信号記憶手段に記憶された前記複数の映像信号に、前記立体表示装置の光線方向と逆順の視差方向となるように出力を割当てることを特徴とする請求項4に記載の画像生成装置。
  6. 前記映像信号取得手段は、注視点の手前から飛び出し限界までの領域または注視点の奥から奥行き限界までの領域に配置された撮像対象に対して、複数の異なる視差方向からの複数の映像信号を取得することを特徴とする請求項1〜5のいずれか一つに記載の画像生成装置。
  7. インテグラルイメージング方式の立体表示装置に立体画像を表示するための視差画像を生成する画像生成方法であって、
    撮像対象に対して複数の異なる視差方向からの複数の映像信号を取得する映像信号取得ステップと、
    前記映像信号取得ステップにより取得した前記複数の映像信号に、前記立体表示装置の光線方向と逆順の視差方向となるように出力を割当てる映像割当ステップと、
    前記映像信号割当ステップによって出力を逆順に割り当てられた前記複数の映像信号から、前記視差画像を生成する視差画像生成ステップと、
    を含むことを特徴とする画像生成方法。
  8. インテグラルイメージング方式の立体表示装置に立体画像を表示するための視差画像を生成する画像生成プログラムであって、
    撮像対象に対して複数の異なる視差方向からの複数の映像信号を取得する映像信号取得手順と、
    前記映像信号取得手順により取得した前記複数の映像信号に、前記立体表示装置の光線方向と逆順の視差方向となるように出力を割当てる映像割当手順と、
    前記映像信号割当手順によって出力を逆順に割り当てられた前記複数の映像信号から、前記視差画像を生成する視差画像生成手順と、
    をコンピュータに実行させる画像生成プログラム。
JP2004285243A 2004-09-29 2004-09-29 画像生成装置、画像生成方法および画像生成プログラム Pending JP2006101224A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004285243A JP2006101224A (ja) 2004-09-29 2004-09-29 画像生成装置、画像生成方法および画像生成プログラム
US11/086,232 US20060066718A1 (en) 2004-09-29 2005-03-23 Apparatus and method for generating parallax image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004285243A JP2006101224A (ja) 2004-09-29 2004-09-29 画像生成装置、画像生成方法および画像生成プログラム

Publications (1)

Publication Number Publication Date
JP2006101224A true JP2006101224A (ja) 2006-04-13

Family

ID=36098569

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004285243A Pending JP2006101224A (ja) 2004-09-29 2004-09-29 画像生成装置、画像生成方法および画像生成プログラム

Country Status (2)

Country Link
US (1) US20060066718A1 (ja)
JP (1) JP2006101224A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012222605A (ja) * 2011-04-08 2012-11-12 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP2013511889A (ja) * 2009-11-18 2013-04-04 トムソン ライセンシング 柔軟な視差選択が可能な3次元コンテンツ配信のための方法とシステム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009238117A (ja) * 2008-03-28 2009-10-15 Toshiba Corp 多視差画像生成装置および方法
JP4925354B2 (ja) * 2008-03-31 2012-04-25 富士フイルム株式会社 画像処理装置、画像表示装置、撮像装置及び画像処理方法
JP4637942B2 (ja) * 2008-09-30 2011-02-23 富士フイルム株式会社 3次元表示装置および方法並びにプログラム
JP5227993B2 (ja) * 2010-03-31 2013-07-03 株式会社東芝 視差画像生成装置、及びその方法
JP4996720B2 (ja) * 2010-06-30 2012-08-08 株式会社東芝 画像処理装置、画像処理プログラム、及び画像処理方法
US20120200676A1 (en) * 2011-02-08 2012-08-09 Microsoft Corporation Three-Dimensional Display with Motion Parallax
JP5979134B2 (ja) * 2011-04-14 2016-08-24 株式会社ニコン 画像処理装置および画像処理プログラム
CN102860836B (zh) * 2011-07-04 2015-01-07 株式会社东芝 图像处理装置、图像处理方法以及医用图像诊断装置
JP2014207492A (ja) * 2011-08-22 2014-10-30 パナソニック株式会社 立体映像表示装置
JP2013088685A (ja) * 2011-10-20 2013-05-13 Japan Display West Co Ltd 表示装置
JP5696107B2 (ja) * 2012-09-11 2015-04-08 株式会社東芝 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
CN106231286B (zh) * 2016-07-11 2018-03-20 北京邮电大学 一种三维图像生成方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625408A (en) * 1993-06-24 1997-04-29 Canon Kabushiki Kaisha Three-dimensional image recording/reconstructing method and apparatus therefor
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
JP3476114B2 (ja) * 1996-08-13 2003-12-10 富士通株式会社 立体表示方法及び装置
US6329987B1 (en) * 1996-12-09 2001-12-11 Phil Gottfried Lenticular image and method
DE69921240T2 (de) * 1998-07-09 2006-02-02 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Herstellung eines Stereoskopischen Bildes
US6388666B1 (en) * 1998-10-27 2002-05-14 Imax Corporation System and method for generating stereoscopic image data
US7277121B2 (en) * 2001-08-29 2007-10-02 Sanyo Electric Co., Ltd. Stereoscopic image processing and display system
JP3966830B2 (ja) * 2003-03-28 2007-08-29 株式会社東芝 立体表示装置
JP2005110010A (ja) * 2003-09-30 2005-04-21 Toshiba Corp 立体画像生成方法および立体画像表示装置
JP4125252B2 (ja) * 2004-03-02 2008-07-30 株式会社東芝 画像生成装置、画像生成方法、及び画像生成プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013511889A (ja) * 2009-11-18 2013-04-04 トムソン ライセンシング 柔軟な視差選択が可能な3次元コンテンツ配信のための方法とシステム
JP2012222605A (ja) * 2011-04-08 2012-11-12 Sony Corp 画像処理装置、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
US20060066718A1 (en) 2006-03-30

Similar Documents

Publication Publication Date Title
JP5306275B2 (ja) 表示装置及び立体画像の表示方法
US8633967B2 (en) Method and device for the creation of pseudo-holographic images
US20060066718A1 (en) Apparatus and method for generating parallax image
KR101294261B1 (ko) 마스크와 시간다중화 방식을 이용한 3차원 집적 영상 표시방법
JP4835659B2 (ja) 集積映像背景を有する2次元−3次元兼用ディスプレイ方法及び装置
JP4328311B2 (ja) 三次元画像表示用多視点画像の作成方法およびプログラム
JP5011316B2 (ja) 出力画像のレンダリング
KR102121389B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
JP4489610B2 (ja) 立体視可能な表示装置および方法
US20070008314A1 (en) Stereoscopic image display device
US8731279B2 (en) Method and device for generating multi-viewpoint image
KR20110049039A (ko) 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
JP2008219788A (ja) 立体画像表示装置、方法およびプログラム
JP2008527456A (ja) マルチビューディスプレイ装置
JP2008537250A (ja) 奥行き検知装置及び方法
JP2010226500A (ja) 立体画像表示装置および立体画像表示方法
EP3182702B1 (en) Multiview image display device and control method therefor
JP2008244835A (ja) 立体表示装置および立体画像表示方法
US20140071237A1 (en) Image processing device and method thereof, and program
US10939092B2 (en) Multiview image display apparatus and multiview image display method thereof
US11223817B2 (en) Dual stereoscopic image display apparatus and method
JP4892205B2 (ja) 立体画像表示装置及び立体画像表示方法
CN115769572A (zh) 图像生成装置、图像生成方法和程序
JP2004144873A (ja) 画像表示装置及び画像表示方法
US20150234196A1 (en) Image display apparatus, lenticular lens, and image display method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080623

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080715