WO2004093467A1 - ３次元画像作成装置、３次元画像再生装置、３次元画像処理装置、３次元画像処理プログラムおよびそのプログラムを記録した記録媒体 - Google Patents

Description

明 細 書

3次元画像作成装置、 3次元画像再生装置、 3次元画像処理装置、 3次元画像処 理プログラムおよびそのプログラムを記録した記録媒体

技術分野

本発明は、 3次元表示するための画像データを作成する際に、 画像データに属 性情報を付随させる 3次元画像作成装置およびそのデータを再生する 3次元画像 再生装置に関するものである。

また、 本発明は、 3次元画像を拡大縮小すると視差量が変化することにより、 拡大後の 3次元画像が立体視しにくくなったり、 立体感にかけるおそれがある時 には、 ユーザ一にその旨を警告し、 また、 立体感の補正が可能であれば補正を行 うことを目的とする 3次元画像処理装置、 3次元画像処理プログラムおよびその プログラムを記録した記録媒体に関する。

背景技術

従来、 3次元画像を表示する様々な方法が提案されてきた。 その中でも一般的 に用いられているのは両眼視差を利用する 「2眼式」 と呼ばれるものである。 す なわち、 両眼視差を持った左眼画像と右眼画像を用意し、 それぞれ独立に左右の 眼に投影することにより立体視を行う。

図 1 6は、 この 2眼式の代表的な方式の 1つである 「時分割方式」 を説明する ための概念図である。

この時分割方式は、 図 1 6のように、 左眼画像と右眼画像が垂直方向 1画素お きに交互にならんだ形に配置され、 左眼画像の表示と右眼画像の表示が交互に切 り替えて表示されるものである。 左眼画像および右眼画像は通常の 2次元表示時 に比べて垂直解像度が 1 / 2になっている。 観察者はディスプレイの切り替え周 期に同期して開閉するシャツ夕式のメガネを着用する。 ここで使用するシャツ夕 は、 左眼画像が表示されている時は左眼側が開いて右眼側が閉じ、 右眼画像が表 示されている時は左眼側が閉じて右眼側が開く。 こうすることで、 左眼画像は左 眼だけで、 右眼画像は右眼だけで観察されることになり、 立体視を行うことがで きる。

図 17は、 2眼式のもう 1つの代表的な方式である 「パララクスバリァ方式」 を説明するための概念図である。

図 17 (a) は、 視差が生じる原理を示す図である。 一方、 図 17 (b) は、 パララクスバリア方式で表示される画面を示す図である。

図 17 (a) では、 図 17 (b) に示すような左眼画像と右眼画像が水平方向

1画素おきに交互にならんだ形に配置された画像を、 画像表示パネル 401に表 示し、 同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア 402を画像表示パネル 401の前面に置くことにより、 左眼画像は左眼 403 だけで、 右眼画像は右眼 404だけで観察することになり、 立体視を行うことが できる。

ところで、 パララクスバリア方式と同様に図 17 (b) に示すような画像を 3 次元表示する方式に、 「レンチキユラ方式」 がある。 このレンチキユラ方式で用 いるための記録データ形式の一例が、 特開平 11— 41627号公報において開 示されている。

図 18は、 このようなレンチキユラ方式の記録データ形式の一例を示す概念図 である。 図 18 (a) に示す左眼画像 501と図 18 (b) に示す右眼画像 50 2から、 それぞれを水平方向に 1/2に間引きして図 18 (c) に示す 1枚の混 合画像 503を作って記録する。 再生時にはこの混合画像 503を並べ替えるこ とにより図 17 (b) に示したような合成画像が作成される。

さて、 3次元画像に限った話ではないが、 特開 2001— 337994号公報 にはサムネイル画像の識別のために付加情報を記憶しておき、 表示装置において 付加情報をサムネイル画像に重ねて表示する方法が開示されている。

このように左右の目で異なった画像を観察することで、 立体視を可能とする方 法では、 左右の画像の対応点の距離 (以降、 視差と呼ぶ） がある一定の範囲では 、 快適に立体視することができるが、 視差が大きくなると両眼の画像が融合しな くなり立体視できなくなる。 この時の視差の大きさについては、 例えば、 平成 1 4年に財団法人機械システム振興協会が発行した 「3次元映像に関するガイドラ イン試案」 により、 報告されている。

上記の視差が大きいために両眼画像が融合せず立体視しにくい 3次元画像を表 示する際に、 左右画像の表示位置を立体ディスプレイ上でずらすことで視差を調 整し、 3次元画像を見やすく表示する方法が、 特開 2 0 0 0— 7 8 6 1 5号公報 ゃ特開平 1 0— 2 2 1 7 7 5号公報に公開されている。

上記のように、 従来の 3次元表示システムにおいては、 再生装置側で決められ た表示方式に適するように、 記録データ形式を固定した記録が行われており、 記 録データに汎用性を持たせることは考えられていない。

表示方式以外にも画像の間引き方法や、 いわゆる 「多眼式」 における視点の数 など、 3次元表示に必要な情報はいろいろあるが、 表示方式が単一の場合、 それ らの情報は記録データとして記録されない。 いつも同じ表示方式を使うなら、 あ えてそれらの情報を記録する必要がないからだが、 このために記録データの汎用 性が著しく損なわれている。 例えば、 パララクスバリア方式 （あるいはレンチキ ユラ方式） 用のデ一夕を記録する場合に限っても、 左眼画像と右眼画像を別々の シーケンスとして記録することもできるし、 図 1 8 ( c ) のような左眼画像と右 眼画像が画面半分ずつ左右に並んだ混合画像を記録することもできるし、 図 1 7 ( b ) のような左眼画像と右眼画像が水平方向 1画素おきに並んだ合成画像を記 録することもできる。 当然記録形式が違えばこれを表示するための処理方法も異 なるが、 記録されたデータからはどの形式で記録されたかを知ることができない ため、 第三者がそのデータを手にした時、 どのような処理によって表示すればよ いのかがわからないという問題がある。

さらに、 従来の技術では、 各視点の画像データを互いに独立に記録し、 所望の 視点の画像のみを簡単に読み出し、 再生するといつたことが考慮されていなかつ た。

また、 従来の技術では既存の装置との互換性が十分に考えられていない。 すな わち、 特開 2001 _ 337994号公報に開示されているシステムにおいては 、 付加情報を解釈できる表示システムのことだけが考えられており、 それを解釈 できない表示システムでは付加情報は役に立たない。

さらに、 上記従来の技術による 3次元画像を拡大あるいは縮小すると、 3次元 画像の飛び出し量や引き込み量が変化してしまい、 所望の立体感が得られなくな るという問題がある。

以下ではまず、 左右両眼に別の画像を表示することで、 立体視を行う立体ディ スプレイの原理について、 図 39、 図 40を用いて簡単に説明する。 これらの図 面はいずれも立体ディスプレイ 1を両眼間隔 dのユーザーが観察しているところ を、 上方からみた模式図である。

一般に、 ュ一ザ一の両眼間隔を d [m] 、 ユーザ一と立体ディスプレイ 1との 距離を D [m] 、 ディスプレイの幅を W [m] 、 ディスプレイの解像度を P [d o t] 、 3次元画像の左右の対応点の距離を 1 [do t] とすると、

3次元画像が飛び出し時の飛び出し量 z [m] は、

z = ( 1 XW/P) XD/ (d+ (1 XW/P) ) · · ·式 (1)

3次元画像が引っ込み時の引き込み量 z [m] は、

z = ( 1 XW/P) XD/ (d- ( 1 XW/P) ) · · ·式 （2)

この時の視差 0は、

0= t an- ¹ ( 1 /2D) X 2 · · ·式 （3)

であらわされる。

3次元画像を拡大あるいは縮小すると、 左右 画像のずれの大きさが変わるため、 立体感が変化する。 図 3 9 ( a ) に拡大処理 前の 3次元画像、 図 3 9· ( b ) で拡大処理後の 3次元画像を示して説明する。 図 3 9 ( a ) のような、 立体ディスプレイよりも手前に飛び出す 3次元画像を拡大 すると、 図 3 9 ( b ) のように飛び出し量が大きくなる。 ここで、 Γ は拡大後 の左右の対応点、 z ' は拡大後の飛び出し量を示す。

また図 4 0 ( a ) に示すように、 立体ディスプレイよりも奥に引っ込む 3次元 画像を、 拡大表示すると、 引き込み量も大きくなり、 拡大率によっては図 4 0 ( b ) のように両眼の焦点が合わず立体視が出来なくなる。 反対に、 3次元画像の 縮小時には、 左右画像のずれが小さくなるために、 飛び出し量あるいは引き込み 量が小さくなり、 立体感が弱くなつてしまう。

このように、 3次元画像の拡大縮小時には、 拡大時には視差が大きくなるため 飛び出しが大きくなり、 縮小時には逆に視差が小さくなるために飛び出しが小さ くなるというように、 立体感が変更されるため、 通常の 2次元画像と同様の手法 で拡大縮小を行うと、 所望の立体視が出来ずに混乱が生じたり、 無理な立体視を して目に負担がかかるという問題がある。

本発明は、 以上のような問題点を解決するためになされたものであって、 その 目的は、 3次元表示のための画像デ一夕に汎用性を持たせるとともに、 任意の視 点の画像を効率よく選択することを可能とする 3次元画像作成装置、 およびその データを再生する 3次元画像再生装置を提供することにある。

また、 本発明の目的は、 3次元画像を拡大縮小すると視差量がかわるため、 立 体視しにくくなったり、 立体感にかけるおそれがある時には、 ユーザーに警告し 、 立体視が快適にできるように補正する 3次元画像処理装置、 3次元画像処理プ ログラムおよびそのプログラムを記録した記録媒体を提供することにある。

発明の開示

.本発明は、 複数視点に対応した画像情報である主画像を作成する主画像作成部 と、 サムネイル画像を作成するサムネイル画像作成部と、 前記主画像を 3次元表 示するための 3次元制御情報を作成する 3次元制御情報作成部と、 前記主画像と 前記サムネイル画像と前記 3次元制御情報とを多重化する多重化部とを備えるこ とを特徵とする 3次元画像作成装置である。

ここで、 前記サムネィル画像作成部は、 主画像 そのまま縮小したサムネイル 画像を作成すること、 主画像から 1視点分の画像を抜き出してサムネイル画像を 作成すること、 サムネイル画像に 3次元画像であることを示すシンボルを埋め込 むこと、 あるいは、 主画像の縮小画像と主画像から 1視点分の画像を抜き出して 縮小した画像をピクチャ一インピクチャーの形にしたサムネィル画像を作成する ことを特徴とする。

また、 本発明は、 入力された画像データから主画像データとサムネイルデータ と 3次元制御情報を分離する逆多重化部と、 主画像データが 3次元画像である場 合にはサムネイルデータに 3次元画像であることを示すシンボルを重ねたものを サムネイルとして出力するサムネイル生成部とを備えることを特徴とする 3次元 画像再生装置である。

本発明は、 立体視可能な視差範囲を取得する視差範囲取得手段と、 3次元画像 の視差量を取得する視差量取得手段と、 前記 3次元画像の視差量が前記視差範囲 内にあるか否かを判定する判定手段とを備えたことを特徴とする 3次元画像処理 装置である。

また、 立体視可能な視差範囲を取得する視差範囲取得手段と、 3次元画像の視 差量を取得する視差量取得手段と、 前記 3次元画像の拡大あるいは縮小の比率を 取得する比率取得手段と、 前記比率に従って拡大あるいは縮小した前記 3次元画 像の視差量が前記視差範囲内にあるか否かを判定する判定手段とを備えたことを 特徴とする 3次元画像処理装置である。

ここで、 前記判定手段は、 3次元画像の一部の領域について判定処理を行うこ とを特徴とする。 また、 本発明は、 前記判定手段が前記視差量が前記視差領域内にないと判定し た場合に、 ユーザに警告を行う警告手段あるいは 3次元画像の視差量を調整する 視差調整手段を備えたことを特徴とする。

ここで、 前記視差量取得手段は、 前記 3次元画像を表示する立体ディスプレイ の解像度及び Zまたは大きさを用いることを特徴とする。 また、 前記視差範囲取 得手段は、 前記 3次元画像を表示する立体ディスプレイの左右画像の分別能力を 用いることを特徴とする。 また、 前記視差量取得手段は、 予め 3次元画像に付加 されている値を用いることを特徴とする。

また、 本発明は、 コンピュータを、 上記各手段として機能させることを特徴と する 3次元画像処理プログラムである。

また、 本発明は、 上記プログラムを記録したコンピュータ読み取り可能な記録 媒体である。

本発明によれば、 主画像を 3次元表示するための 3次元制御情報を作成し、 主 画像とサムネィル画像と 3次元制御情報とを多重化することにより、 主画像が 3 次元画像である場合に、 画像内容を適切に確認するためのサムネイル画像を出力 することが可能となる。

本発明によれば、 主画像をそのまま縮小したサムネイル画像を作成することに より、 サムネイル画像を 3次元表示することが可能となる。

本発明によれば、 主画像から 1視点分の画像を抜き出してサムネイル画像を作 成することにより、 歪みのないサムネイル画像を表示することが可能である。 本発明によれば、 サムネイル画像に 3次元画像であることを示すシンポルを埋 め込むことにより、 3次元制御情報を解釈できない従来の 3次元画像再生装置に おいても、 選んだフアイルが 3次元であることをサムネィルで判別可能である。 本発明によれば、 主画像の縮小画像と、 主画像から 1視点分の画像を抜き出し て縮小した画像をピクチャ一^ fンピクチャーの形にしたサムネイル画像を作成す ることにより、 歪のない画像による画像内容確認と実際に主画像として記録され ている画像の形の確認を両方を同時に行うことが可能である。

本発明によれば、 主画像データが 3次元画像である場合にはサムネイルデータ に 3次元画像であることを示すシンボルを重ねたものをサムネイルとして出力す ることにより、 選んだフアイルが 2 Dか 3 Dかをサムネィルで判別可能である。 本発明によれば、 3次元画像の視差量が立体視可能な視差範囲内にあるか否か を判定するので、 立体視できない場合に対応処置をとることができる。 例えば、 ユーザーに警告を行ったり、 3次元画像の視差量を調整したりできる。 また、 3 次元画像を拡大 ·縮小する時にも、 3次元画像の視差量が立体視できる視差範囲 にあるか判定して、 その結果立体視が困難になる時は、 各対応処置がとれる。 また、 立体視が困難になる時は、 3次元画像の全体もしくは一部の範囲の視差 量 （例えば、 最大飛び出し量及び最大引き込み量） と、 立体ディスプレイ上にて 快適に立体視できる視差範囲を考慮し、 できるだけ快適に立体視ができるように 、 視差を調整することが可能となる。

このように、 本発明によれば、 ユーザーが 3次元画像の内容を適切に確認でき るようにし、 また、 拡大縮小した場合でも 3次元画像の内容をュ一ザ一に適切に 提示することによって、 3次元画像の観察を快適に行える 3次元画像再生装置あ るいは画像データ処理装置を提供することができる。 図面の簡単な説明

図 1は、 第 1の実施の形態における 3次元画像作成装置の構成を示す図である 図 2は、 多視点の場合の撮像装置の設置例を示す図である。

図 3は、 視点番号のふり方の例を示す図である。

図 4は、 視点数 2の場合の結合例を示す図である。

図 5は、 多視点画像の格子状配置を示す図である。

図 6は、 3 D情報のフォーマツト例を示す図である。 図 7は、 画像データのファイル形式を示す図である。

図 8は、 既存形式のフアイルに画像デ一夕を格納する際のフォーマツ卜の一例 を示す図である。

図 9は、 新規形式のフアイルに画像デ一夕を格納する際のフォーマットの一例 を示す図である。

図 1 0は、 多視点の画像データを別々のフアイルに記録する際の画像デー夕の 格納例を示す図である。

図 1 1は、 3 D情報のフォーマット例を示す図である。

図 1 2は、 3 D情報の設定値の一例を示す図である。

図 1 3は、 管理情報のフォーマツト例を示す図である。

図 1 4は、 多視点の画像データを別々のファイルに記録する際の一例を示す図 である。

図 1 5は、 第 3の実施の形態における 3次元画像再生装置の構成を示す図であ る。

図 1 6は、 時分割方式における画像の表示形式を示す図である。

図 1 7は、 パララクスバリア方式の概念を説明するための図である。

図 1 8は、 パララクスバリア方式における画像の表示形式を説明するための図 である。

図 1 9は、 第 2の実施の形態における 3次元画像作成装置の構成を示す図であ る。

図 2 0は、 第 4の実施の形態における 3次元画像再生装置の構成を示す図であ る。

図 2 1は、 サムネイル画像デ一夕を 3次元表示のために記録する画像ファイル 形式を示す図である。

図 2 2は、 主画像と 1 6 0画素 X 1 2 0画素に縮小したサムネイル画像の組み 合わせを示す図である。 図 2 3は、 3 D画像のデータを格納したものであることを示すシンポルを埋め 込んだサムネイル画像を示す図である。

図 2 4は、 主画像と 3 D画像のデータを格納したものであることを示すシンポ ルを埋め込んだサムネイル画像の組み合わせを示す図である。

図 2 5は、 ピクチャーインピクチャーで表現されたサムネイルの例を示す図で ある。

図 2 6は、 第 6の実施の形態におけるサムネイルが記録されたファイルを再生 する 3次元画像再生装置の構成を示す図である。

図 2 7は、 第 7の実施の形態における 3 D表示と 2 D表示の切り替えが可能な 3次元画像再生装置の構成を示す図である。

図 2 8は、 第 5の実施の形態におけるサムネイル画像をファイル中に記録する 3次元画像作成装置の構成を示す図である。

図 2 9は、 第 8の実施の形態における 3次元画像の GU I画面を示す説明図で ある。

図 3 0は、 第 8の実施の形態における処理を示すフローチャートである。 図 3 1は、 第 9の実施の形態における 3次元画像の GU I画面を示す説明図で める。

図 3 2は、 第 9の実施の形態における処理を示すフロ一チヤ一トである。 図 3 3は、 補正処理における 3次元画像の視差量を示す説明図である。

図 3 4は、 左右画像のずらし量を変更することによる立体感の補正を示す説明 図である。

図 3 5は、 第 1 0の実施の形態における処理を示すフローチャートである。 図 3 6は、 第 1 0の実施の形態におけるステツプ 1 7の処理を示すフローチヤ —卜である。

図 3 7は、 視差量取得エリァの変更方法を示す説明図である。

図 3 8は、 第 1 1の実施の形態における 3次元画像処理装置を示すプロック図 である。

図 3 9は、 3次元画像の飛び出しを説明する図である。

図 4 0は、 3次元画像のひっこみを説明する図である。

発明を実施するための最良の形態

以下、 本発明の実施の形態について、 図面を参照しながら説明する。

ぐ第 1の実施の形態 >

図 1は第 1の実施の形態による 3次元画像作成装置の構成を示すプロック図で ある。 図 1において、 3次元画像作成装置 1 0 0は、 多視点 （視点数 K、 ここで Κは 2以上の整数である） の画像 1から画像 Κの配置方法を決定し、 これらを隣 接させて結合した結合画像を作成する画像結合部 1 0 1、 画像 1から画像 Κを結 合するか否か （結合の有無） 、 画像 1から画像 Κを縮小するか否か （縮小の有無 ) 、 2次元表示の際に使用すべき画像 （2 D選択） 、 視点数および画像の配置順 を指定する制御部 1 0 2、 前記縮小の有無、 結合の有無、 画像の配置方法、 2 D 選択および視点数の情報をフォーマツト化して 3 D情報を作成する 3 D情報作成 部 1 0 3、 記録媒体や通信回線にアクセスする手段を備え、 画像情報と 3 D情報 を多重化して画像データを出力する多重化部 1 0 4から構成される。

以上のように構成された 3次元画像作成装置 1 0 0について、 その動作を説明 する。

連続するフレームから構成される画像信号は、 1フレームごとに 3次元画像作 成装置に入力される。 ここで、 3次元画像作成装置 1 0 0に対して画像を入力す るための撮像装置は、 平面内に水平方向に Μ個、 垂直方向に Ν個格子状に並べら れ、 各撮像装置にはそれぞれ番号 （視点番号） がふられているものとする （ただ し、 Μ, Νは 1以上の整数である） 。

図 2に視点数が 8の場合の設置例 （設置された撮像装置を後から斜め下方に見 下ろした図） を示す。 ここで視点番号は、 左から右、 上から下の順にふるものと する。 つまり撮像装置 3 0 1が 1、 撮像装置 3 0 2が 2、 撮像装置 3 0 3が 3、 撮像装置 3 0 4が 4、 同様にして撮像装置 3 0 5〜3 0 8が 5〜8、 である。 な お、 本実施の形態を通して視点番号 kの撮像装置で撮影された画像を、 画像 k ( ここで kは 1以上の整数である） と呼ぶこととする。

制御部 1 0 2は、 縮小の有無、 結合の有無、 2 D選択、 水平方向の.視点数 Mと 垂直方向の視点数 Nおよび画像の配置順を指定する。 ここで、 縮小の有無は、 「 縮小あり」 、 「縮小なし」 のどちらかの値をとり、 結合の有無は、 「結合なし」 、 「結合あり」 のどちらかの値をとる。 2 D選択は、 視点番号または 「指定なし J の値をとる。 画像の配置順は画像の並びを視点番号で指定する。 また、 視点数 は、 図 2の例では M= 4、 N= 2となる。

画像結合部 1 0 1は、 制御部 1 0 2から入力された結合の有無が 「結合なし」 を示す場合、 制御部 1 0 2により指定された画像の配置順にしたがって、 並列に 入力された画像 1から画像 Kを直列に出力するものとする。 または、 各視点の画 像を出力する際に、 2 D選択で指定された視点番号が、 常に最初になるようにし て出力してもよい。

また、 画像結合部 1 0 1は結合の有無が 「結合あり」 を示す場合、 入力された 画像 1から画像 Kまでの配置方法を選択する。 配置方法は、 多視点画像を水平に 並べた水平配置、 多視点画像を上下に並べた垂直配置および水平 ·垂直の両方向 に並べた格子状配置の 3通りが選択可能である。

ここで、 画像の配置方法は撮像装置の設置方法と一致するとしてもよいし、 一 致しなくてもよい。 画像の配置を撮像部の設置方法と一致させる場合、 M= l、 N≥ 2のときには垂直配置、 M≥2、 N= lのときには水平配置、 それ以外のと きには格子状配置となる。 また、 一致させない場合は、 M== l、 N≥2または M ≥2、 N= lのときに、 垂直配置と水平配置のいずれかが選択できるようにして もよい。

己置方法が決まったら、 制御部 1 0 2から入力された画像の配置順にしたがつ て、 画像を結合する。 図 3は、 図 2に示した撮像装置により撮影された画像を格 子状配置にしたときの、 画像の配置順の例を示す。 図 3において、 1マスは画像 を表しており、 数字は視点番号である。 図 3 (a) は画像の配置順が 1、 2、 3 、 4、 5、 6、 7、 8と指定された場合を示し、 撮像装置にふられた視点番号と 同じ並びとなる。 図 3 (b) は 2、 3、 1、 4、 6、 7、 5、 8と指定された場 合を示す。

また、 制御部 102から入力された縮小の有無が 「縮小あり」 を示す場合、 入 力された各視点の画像を縮小する。 このときの縮小率は固定的なものではなく、 視点数に応じて決定されるものとする。 すなわち、 水平方向に 1ZM、 垂直方向 に 1ノ Nに縮小する。

このときの画像結合部 101による結合結果の例を図 4および図 5に示す。 図 4は図 2の撮像装置のうち、 例えば視点番号 1と 2のみを使用した 2視点の場合 、 図 5は撮像装置の全てを用いた場合である。

図 4 (a) は 「縮小なし」 、 「結合なし」 の場合を、 図 4 (b) は 「縮小なし 」 、 「結合あり （水平配置） 」 の場合を、 図 4 (c) は 「縮小なし」 、 「結合あ り （垂直配置） 」 の場合を、 図 4 (d) は 「縮小あり」 、 「結合なし」 の場合を 、 図 4 (e) は 「縮小あり」 、 「結合あり （水平配置） 」 の場合を、 図 4 (f) は 「縮小あり」 、 「結合あり （垂直配置） 」 の場合を示している。 ここでは、 「 縮小あり」 の場合には、 画素の間引き等により、 水平方向または垂直方向の解像 度を 1/2にしている。

図 5は多視点画像の格子状配置の例を示しており、 縮小の有無が 「縮小なし」 を示す場合、 図 5 (a) のようになる。 ここで、 H、 Vはそれぞれ縮小前の各視 点画像の水平方向画素数、 垂直方向ライン数である。 縮小の有無が 「縮小あり」 を示す場合、 図 5 (b) のようになる。 縮小率は水平方向に 1Z4、 垂直方向に 1/2となり、 縮小後の画像のサイズは、 横 H画素、 縦 Vラインであり、 縮小前 ®各視点の画像サイズと同じになる。 画像の配列は撮像装置の設置方法と一致し 、 7K平方向に 4つ、 垂直方向に 2つの画像が並べられている。 ここで画像に付さ れた数字は視点番号を示す。 画像は視点番号の小さい順に並べられており、 左上 が撮像部 3 0 1で撮影した画像 （視点番号 1 ) であり、 右下が撮像部 3 0 8で撮 影した画像 （視点番号 8 ) である。

なお、 ここでは、 水平方向および垂直方向の縮小率を固定として説明したが、 これらは可変でもよい。 可変の場合には縮小率を 3 D情報に記録する。 また、 結 合の有無が 「結合なし」 を示す場合には、 各視点の画像毎に指定するようにして もよい。

3 D情報作成部 1 0 3は、 縮小の有無、 結合の有無、 2 D選択、 水平方向の視 点数と垂直方向の視点数、 画像の配置順および配置方法をフォーマット化して、 3 D情報を作成する。

このときの 3 D情報の一例を図 6に示す。 ここで、 画像順序は画像の配置が 厂 視点番号順」 か 「任意順」 を示す。 このあとには、 複数の視点番号が記録される 。 これらの視点番号は、 結合の有無が 「結合あり」 を示す場合、 結合画像におけ る画像の並び方を示す。 図 3 ( b ) の例では第 1の視点番号が 2であり、 以下、 3、 1、 4、 6、 7、 5、 8の順となる。 また、 結合の有無が 「結合なし」 を示 す場合、 多重化される画像情報の順序を示す。 画像順序が 「視点番号順」 を示す 場合には、 これらの視点番号は省略されてもよい。 3 D情報を作成する際には、 設定値をそのまま用いてもよいし、 固定長符号化または可変長符号化により符号 化してもよい。

多重化部 1 0 4は、 画像情報と 3 D情報および管理情報を所定のフォーマツト に変換して外部に出力する。 画像の結合をしない場合には、 前述したように画像 結合部 1 0 1からの出力順が制御部 1 0 2により指定された画像の配置順である ため、 画像情報が多重化される順番も画像の配列順となる。 図 1には図示してい ないが、 音声や音楽を多重化する場合は、 それらのデータも多重化部 1 0 4にて 多重ィヒされる。 ぐ集 2の実施の形態 >

ここで、 符号化した画像情報を多重化部 104に入力してもよい。 図 19にこ のような場合の 3次元画像作成装置 110の構成を示す。 3次元画像作成装置 1 10は符号化部 105を備える点が図 1の 3次元画像作成装置 100と異なって いる。 .

多重化部 104の出力先には、 I Cメモリや光磁気ディスク、 磁気テープ、 八 ―ドディスクなどの記録デバィスゃ、 L ANやモデムなどの通信デバイスが接続 される。 ここでは、 多重化部 104に I Cメモリが接続されているものとする。 以下では、 この場合の記録フォーマツ卜について説明する。

一般に I Cメモリを記録媒体に使用する場合には、 I Cメモリ上に FAT (F i l e A l l o c a t i on Tab l e) などのファイルシステムが構築さ れ、 データはファイルとして記録される。 ここで使用するファイル形式は、 既存 の形式を使用してもよいし、 新規に定めた独自の形式を使用してもよい。

図 7は画像データを記録するファイル形式を示す図である。 図 7では、 デ一夕 は図の上から下に向かう順にファイルに記録されるものとする。 図 7 (a) は既 存の形式を使用した場合であり、 図 7 (b) は新規の形式を用いた場合の一例で ある。

既存の形式を使用する場合、 3 D情報は一般に既存の形式に用意されているへ ッダ部を拡張する仕組みを用いて、 既存のへッダ部の一部として記録されるもの とする。 ここでは、 拡張されたヘッダを拡張ヘッダと呼ぶ。 例えば、 ファイルへ ッダは J PEGではアプリケーションデータセグメントを指し、 新たなアプリケ —シヨンデータセグメントを定義して 3D情報を記録する。 また、 MP EG— 4 ではファイルヘッダは V i s u a 1 Ob j e c t S e d u e n c eまたは および V i de o Ob j e c t Laye rを指し、 3D情報はこれらの中に ユーザデータとして記録される。

また、 既存の形式を使用する場合には、 一般に使用されている拡張子をそのま ま使用する。 例えば、 J PEGファイルの場合、 一般に. j Pgという拡張子が 、 MP EGファイルの場合、 一般に. mpgまたは. mp 4という拡張子が、 W MV (Wi ndows (R) Me d i a V i de o) の場合 一般に. wm Vという拡張子が用いられている。 こうすることで、 3次元画像の表示機能を持 たない従来の再生装置でも既存の形式のファイルとして認識し、 2次元画像とし て表示することができる。

一方、 新規の形式を使用する場合には、 例えば、 図 7 (b) のように 3D情報 をフアイルの先頭に記録する。 また、 新規の形式ファイルであることがわかるよ うに、 既存形式のファイルと区別することのできるユニークな拡張子をつける。 なお、 図 7 (a) 、 (b) の管理情報は作成日や作成者など、 3次元画像と直接 関係ない情報の記録に使用するものとする。

まず、 結合の有無が 「結合なし」 を示す場合について、 多視点画像の格納の仕 方を説明する。 ファイル形式として、 図 7 (a) に示す既存形式を使用した場合 、 図 7 (a) の画像情報の領域に多視点の複数の画像を別々に記録する。 動画像 の場合には、 各視点それぞれについて、 複数枚のフレームデータが記録される。 このときの格納例を図 8に示す。 動画像の場合には、 各視点それぞれについて、 複数枚のフレームデータが記録される。このとき、各フレームは Mo t i on J 'PEGのように各々独立して符号化してもよいし、 MP EG— 4のようにフレ一 ム間予測を用いて差分を符号化してもよい。

ファイル形式として、 図 7 (b) に示す新規形式を使用した場合について説明 する。 新規形式では、 図 7 (b) におけるファイルヘッダおよび画像情報の部分 に、 既存の形式 （J PEG、 ビットマップなど） を用いる場合と、 全く新しい独 自の形式を用いる場合がある。 したがって、 これらの形式の違いを区別するため に、 3D情報に種別情報 （画像タイプと呼ぶ） を記録する。

画像デ一夕の記録の仕方についてであるが、 図 7 (b) の画像情報の領域に多 視点の複数の画像データを記録する。 動画像の場合には、 各視点それぞれについ て、 複数枚のフレームデータが記録される。 図 9に、 結合の有無が 「結合なし」 を示す場合の格納例と 3 D情報の例を示す。 図 9の K個のファイルへッダと画像 情報は、 単体で既存形式のファイルとして認識可能なフォーマットである。 つま り、 ビットマツプファイルを例に説明すると、 画像 1から画像 Kまでをそれぞれ 独立なピットマップファイルとして記録し、 3D情報、 管理情報、 画.像 1のビッ トマップフアイルから画像 Kのビットマツプファィルを順に接続した形式となつ ている。

なお、 結合の有無が 「結合なし」 を示す場合には、 多視点の画像情報を別々の 画像データとしてファイルに記録してもよい。 このとき各視点の画像情報は、 既 存形式の場合には図 7 (a) .に、 新規形式の場合には図 7 (b) に示すフォーマ ットで記録される。 ファイルを記録する際には、 既存形式のみを使用してもよい し、 新規形式のみを使用してもよいし、 両者を混在して使用してもよい。 図 10 に、 既存形式を使用した場合の例を示す。 視点数が Kであるため、 K個のフアイ ルが作成される。

このとき、 3 D情報作成部 103は、 視点数分だけの 3 D情報を作成する。 こ こでは、 1つのファイルに記録される画像情報は 1つであるため、 画像順序を省 略し、 各ファイルがどの視点番号に対応するかを示すために視点番号を記録する ものとする。 このときの 3D情報の一例を図 11に示す。

図 12は、 視点数が 2の場合における 3D情報の一例を示す図である。 ここで 、 撮像装置として、 図 2に示す撮像装置のうち、 ネ草点番号 1と 2を使用するもの とする。 視点数が 2であるので、 図 12 (a) および （b) の 2つの 3D情報が 作成される。 で結ばれた左側が 3D情報の項目、 右側がその設定値を示し ている。 項目のうち、 配置方法、 水平方向の視点数、 垂直方向の視点数、 および 2D選択は、 図 12 (a) と図 12 (b) で同じ値が記録される。 それ以外の項 目については異なっており、 図 12 (a) は視点番号 1の画像で、 縮小されてお らず、 図 12 (b) は視点番号 2の画像で、 縮小されていることを示している。 さらに、 多視点の画像情報を別々のファイルとして記録する際には、 複数記録 されたファイルの中から、 同じ撮像装置で撮影された多視点画像のうち、 対応す る視点のフアイルを識別する必要がある。 ここで.. 例えば図 1の多重化部 104 において、 同一の撮像装置で撮影した各視点画像のファイルを識別するための情 報を、 前述の管理情報に記録してもよい。 図 13は、 このときの管 ¾情報の一例 を示す図であり、 多視点画像のファイルが、 どのような名称で記録媒体上に記録 されているかの情報が記録されている。 図 13において、 ファイル構成は 「分離 」 、 「統合」 の値をとり、 「分離」 の場合、 各視点画像が別々のファイルとして 記録されていることを示し、 「統合」 の場合、 全視点画像が 1つのファイルに記 録されていることを示す。 視点番号から該当する画像データのファイル名を知る ことができるように、 視点番号とファイル名を対応させて記録している。

または、 撮像装置で撮影した多視点画像の組が同じであることがわかるように 、 所定の命名規則によってファイル名をつけてもよい。 例えば、 前述の視点数 2 の場合、 画像 1および画像 2の 1組のファイル名を、 それぞれ "s t e r e o 1 —1. j pg" 、 "s t e r e o 1_2. j p g" とし、 別の組のファイル名を それぞれ s t e r e o 2― 1. j p g" 、 s t e r e o 2一 2. j p g と することにより区別する。

ところで、 それぞれのファイルに記録される 3D情報または管理情報には、 重 複している部分がある。 例えば、 図 12に示す 3D情報の例では、 縮小の有無と 視点番号以外は同一の情報を示している。 また図 13に示す管理情報の例では、 管理情報の内容はすべてのファイルについて共通である。

したがって、 これらの共通する情報 （共通情報） は 1つのファイルのみに記録 し、 他のファイルには画像データ固有の情報 （個別情報） のみを記録するように してもよい。 このときの例を図 14に示す。 図 14 (a) は、 個別情報と共通情 報が記録されたファイルを示しており、 図 14 (b) は、 個別情報のみが記録さ ねたファイルを示している。 この例では、 図 14 (a) のファイルは既存形式で 、 図 1 4 ( b ) のファイルは新規形式で記録し、 ファイルの拡張子により、 共通 情報が記録されたファイルを他の個別情報のみが記録されたフアイルと識別でき るようにしている。 また、 図 1 4 ( b) に示すように個別の管理情報として、 共 通情報の記録されたファイルのファイル名を記録するようにしてもよい。 こうす ることで、 個別情報のみが記録されたファイルから共通情報が記録されたフアイ ルを指定することが容易になる。

なお、 これらのファイルを識別する方法は、 上記以外にも、 前述の命名規則を 用いて、 各視点の画像ファイルが識別できるようにし、 2 D選択で指定された視 点番号など、 特定の視点番号の画像ファィルに共通情報を記録するようにしても よい。

あるいは、 重複する情報を 1つにまとめて、 管理用のファイルを作成し、 各画 像ファイルには固有の情報のみを記録してもよい。 管理用ファイルには画像ファ ィルとは異なるユニークな拡張子を使用するものとする。

さらに、 前述の F ATなどのファイルシステムでは、 ファイルをまとめて管理 するためにディレクトリが使用される。 作成した各視点の画像ファイル 1組 （存 在すれば管理用ファイルを含めてもよい） を、 同一のディレクトリに記録するよ うにしてもよい。

結合の有無が 「結合あり」 を示す場合には、 図 7 ( a ) および図 7 ( b ) の画 像情報の領域に 1つに結合された画像の画像情報が記録される。 動画像の場合に は、 多視点画像の対応するフレームを結合した画像が複数枚記録される。

なお、 上記の実施の形態では視点番号のふり方を固定して画像の配置順を任意 に変更できるようにしたが、 画像の配置順を固定して、 視点番号のふり方を任意 に変更しても構わない。 さらに、 撮像装置の設置方法は格子状配置だけでなく、 任意の配置にすることもできる。 この場合には、 基準となる撮像装置 （視点番号 は 1とする） を選択し、 これを原点とした座標系で位置を表現する。 3 D情報に は視点番号順に各視点の撮像装置の位置座標を記録する。 また、 上記の実施の形態では、 新規形式のファイルの場合、 3 D情報および管 理情報をファイルの先頭に記録しているが、 新規形式のファイルはこれに限定さ れるものではなく、 これらの格納位置はファイルへッダの後や、 画像情報の後で もよいし、 図 7 ( a) に示す既存形式と同じでもよい。

<第 3の実施の形態 >

続いて、 3次元画像作成装置 1 0 0で作成した画像データを 3次元画像として 表示するための再生装置について説明する。

図 1 5は、 本発明における実施の形態の 3次元画像再生装置の構成を示すプロ ック図である。 図 1 5において、 3次元画像再生装置 2 0 0は、 逆多重ィ匕部 2 0 1、 3 D情報解析部 2 0 2および画像変換部 2 0 3から構成される。

逆多重ィヒ部 2 0 1は、 記録デバィスゃ通信デバィスから所定のフォーマットに 多重化された画像データを読み込み、 画像情報と 3 D情報および管理情報に分離 する。 図 1 5には図示していないが、 音声や音楽が多重化されている場合は、 そ れらのデータも逆多重化部 2 0 1にて分離される。

3 D情報解析部 2 0 2は、 所定のフォ一マツトの 3 D情報を解析し、 項目ごと の設定値を抽出する。

画像変換部 2 0 3には、 通常のブラウン管や液晶パネルを用いた 2次元表示装 置、 レンチキユラ方式、 パララクスバリア方式、 時分割方式などを用いた立体表 示装置など、 それぞれ表示形式が異なる表示装置が接続される。

以上のように構成された 3次元画像再生装置 2 0 0について、 その動作を説明 する。 ここでは、 逆多重化部 2 0 1に I Cメモリが接続されているものとする。 前述したように、 I Cメモリには既存形式および新規形式の画像ファイル、 なら びに、 管理用ファイルが記録される。 画像ファイルと管理用ファイルの区別は、 ファイルの拡張子によって行うことができる。 ここでは、 図示しない指定手段に より使用者が画像ファイルまたは管理用ファイルを 1つ選択するものとする。

, まず、 選択されたファイルが画像ファイルの場合について説明する。 この場合 、 既存形式と新規形式の区別は、 ファイルの拡張子によって行うことができるの で、 逆多重化部 2 0 1は、 再生するファイルが図 7 ( a ) に示す既存形式のファ ィルの場合、 ファイルヘッダの拡張領域から 3 D情報を読み出す。 また図 7 ( b ) に示す新規形式の場合には、 ファイルの先頭から 3 D情報を読み出す。

3 D情報解析部 2 0 2は、 3 D情報を解析し、 結合の有無、 縮小の.有無、 視点 数、 配置方法、 2 D選択などの設定値を抽出する。 さらに、 3次元画像として表 示するための画像の視点番号を決定する。 多視点の画像データを 3次元画像とし て表示するためには、 多視点の画像から視差のある 2視点を選択して、 左眼画像 、 右眼画像とすればよい。 例えば、 図 2の撮影装置で記録された画像データの場 合には、 1と 2、 1と 3、 1と 4、 2と 3、 2と 4など、 水平方向に並んだ中か ら選択可能である。 また、 表示の際に 9 0 ° 回転させれば、 1と 5、 2と 6、 3 と 7および 4と 8の組を選択しても、 3次元画像として表示することができる。 結合の有無が 「結合なし」 を示す場合、 選択されたファイルには、 図 1 0のよ うに 1つの視点の画像情報のみが記録されているか、 または、 図 8のように結合 されていない各視点の画像情報がすべて記録されているかのどちらかである。 これらを区別するためには、 3 D情報を解析した結果、 3 D情報に画像順序の 情報が含まれているか否かを調べればよい。 3 D情報に画像順序が含まれていれ ば、 後者である。 3 D情報に記録された第 1の視点番号から第 Kの視点番号まで の中から立体視可能な任意の視点の組み合わせを選択する。 そうでなければ、 前 者であり、 3 D情報に記録されている視点番号 i (ここで iは 1以上の整数であ る） と組み合わせることで、 立体視が可能となるような視点番号を選択する。 選 択した視点番号は、 逆多重化部 2 0 1に対して出力される。

逆多重化部 2 0 1は、 入力された視点番号の画像情報をファイルから読み出し て、 画像変換部 2 0 3に出力する。 入力された視点番号の画像情報がフアイルに 記録されていない場合には、 前述のような管理情報や命名規則などから該画像情 報が記録されているファイルを見つけ出して、 読み出すようにする。 または、 ファイル記録されているのが 1視点のみか、 全視点かを区別するため に、 管理情報内のファイル構成を参照してもよい。 ファイル構成が 「分離」 なら ば 1視点の、 「統合」 ならば全視点の画像情報が記録されている。

一方、 結合の有無が 「結合あり」 の場合、 ファイルに記録されているのは 1枚 の結合画像のみであるため、 任意の視点番号が選択可能である。 この場合には、 視点番号を画像変換部 2 0 3に対して出力する。

ぐ第 4の実施の形態 >

ここで、 画像情報が符号化されている場合には、 逆多重化した後に復号を行う 。 図 2 0にこのような場合の 3次元画像再生装置 2 1 0の構成を示す。 3次元画 像再生装置 2 1 0は復号部 2 0 4を備える点が図 1 5の 3次元画像再生装置 2 0 0と異なっている。

画像変換部 2 0 3は、 3 D情報解析部 2 0 2により入力された結合の有無、 縮 小の有無、 視点数、 配置方法、 2 D選択および視点番号に応じて、 逆多重化部 2 0 1により分離された画像情報を表示形式に変換する。 このとき、 結合の有無が 「結合なし」 を示すならば、 視点番号により指定された画像情報がそろった時点 で変換を行う。 ファイルが削除された等の理由により、 画像情報がそろわなかつ た場合、 配置の最も近い視点番号の画像を代用してもよいし、 2次元表示を行う ようにしてもよい。 結合の有無が 「結合あり」 の場合、 視点番号により指定され た視点の画像を結合画像から切り出してから変換を行う。

表示形式への変換であるが、 例えば、 3次元画像再生装置 2 0 0にパララクス バリア方式の表示装置が接続されている場合には、 前述の図 4 ( e ) の形式が最 も扱いやすく、 この場合には左右画像を水平方向 1画素おきに並べるだけでよい 。 また、 図 4 ( b ) の場合には、 水平方向 1画素おきに並べる前に左右画像を水 平方向に 1 Z 2に間引きをする。 いずれの場合においても、 画像データに 3 D情 報が付け加えられているので、 表示装置に合つた表示形式に変換することができ る。 なお、 画像情報を符号化する場合、 パララクスバリア方式を例にとると、 表示 する画像が図 1 7 ( b ) のようなものであっても、 図 4 ( e ) のような配置の画 像を符号化すると符号化効率が大きく向上する。 これは図 1 Ί ( b ) の状態より も図 4 ( e ) の状態の方が隣接画素間の相関が高くなるからである。 符号化され た図 4 ( e ) の画像をパララクスバリア方式に用いるには、 図 2 0の 3次元画像 再生装置 2 1 0において復号部 2 0 4で画像を復号した後に画像変換部 2 0 3で 図 1 7 ( b ) のように並べ換えをすればよい。

3次元画像の表示中に 2次元表示に切り替えられた場合、 2 D選択により指定 された視点番号の画像を表示する。 このとき、 縮小の有無が 「縮小なし」 の場合 はそのまま、 「縮小あり」 の場合には 2倍に拡大して表示する。 ただし、 その画 像が表示中でない場合には、 表示中の画像のうち、 いずれか 1つを選択して表示 してもよい。 選択の仕方は例えば、 視点番号の最小のもの、 最大のもの、 撮像装 置の設置や結合画像の配置的に 2 D選択で指定された視点番号に距離が一番近い もの、 左眼画像に用いられているもの、 右眼画像に用いられているものなどがあ り、 ここでは特に限定しない。 また、 2 D選択が 2次元表示に使用する画像を指 定していない場合には、 所定の方法で表示する画像を選択することとする。 また、 2次元表示装置が接続されている場合には、 2 D選択で指定された画像 を表示する。 表示の仕方は 3次元表示装置における 2次元表示と同様である。 また、 使用者によって選択されたファイルが管理用ファイルの場合、 3 D情報 に記録されている結合の有無は 「結合なし」 を示しているが、 立体視可能な視点 番号の任意の組み合わせを選択すればよい。 画像ファイルから画像データが読み 出されて、 表示形式に変換されるまでの動作は、 上記と同様であるため、 ここで の説明は省略する。

また、 上記の実施の形態では、 管理情報に視点番号とファイル名を記録した場 合について述べたが、 以下のようにしてもよい。 すなわち、 3次元画像作成装置 I 0 0において、 画像情報が同じ撮像装置で撮影された一組の多視点画像である ことを示す識別番号を、 共通情報と個別情報に記録するようにし、 3次元画像再 生装置 200において、 ファイル名と識別番号が一致するときにのみ画像情報を 読み出すようにする。 識別番号は一組の多視点画像に対して 1つの番号を付けて もよいし、 視点ごとに異なる番号を付けてもよい。 こうすることで、 ファイル名 の捏造による誤動作を防ぐことができる。

以上のように、 様々な 3次元画像の撮影方式で作成されたデ一夕を統一的に扱 レ、 3次元画像の表示機能を持たない従来の再生装置においては、 2次元画像を 正常に表示することができるようになるため、 汎用性をもたせることができる。 ところで、 図 21 (a) に示すように画像ファイル中にサムネイル画像を記録 する場合がある。 画像ファイルの互換性を確保するために策定された DC F (De sign rule for Camera File system) 規格では、 たとえ主画像 （画像情報） を再 生できない場合であっても最低限の再生互換性を保っために、 サムネイル画像の 格納を義務付けている。 DCF規格では主画像の画素数に規定はないが、 サムネ ィル画像の画素数については 160画素 X 120画素の一種類に限定されてい る。

このような思想に則つて 3次元表示のための情報をファイルに記録するには、 図 21 (b) のような形が考えられる。 すなわち、 図 21 (a) の形式の画像フ アイルに 3D情報を追加したような形であり、 図 21 (b) における主画像は 3 D画像であるものとする。

ここで図 21 (b) における主画像として、 例えば図 4 (e) のように 2つの 視点の画像が水平方向に 1 / 2に縮小されて結合された画像が格納されているも のとし、 その画素数を 640画素 X 480画素であるとする。 また、 サムネイル 画像としては、 主画像をそのまま 160画素 X 120画素に縮小した画像を用い るものとすると、 このファイル中に含まれる画像は図 22 (a) のようなものに なる。 この場合、 主画像もサムネイル画像も 3D画像であると言える。

したがって、 図 22 (a) のような画像があった場合に、 3D情報を解釈でき 、 且つ 3 D表示が可能な 3次元画像再生装置においては、 このファイルが 3 Dを 格納したものであることを示す情報を、 サムネイル画像の上に重ね書きすること により、 図 23 (c) に示すようなサムネイル表示が可能となる。 また、 主画像 を 3 D表示する際に行う画像変換を、 サムネィル画像に対しても行うことにより 、 サムネイルを 3D表示することも可能である。 さらに、 3D画像であることを 示すシンボル (例えば図 23 (c) における 「3D」 という文字） 自体にも視差 を与えることにより 3 D表示することで、 視認性をより高めることが可能である サムネイルを 3D表示する際、 図 22 (a) のようなサムネイル画像を用いる ことにより、 復号した主画像を縮小して 3D表示する場合に比べて高速な描画が 可能となる。 サムネイル画像は小さいため、 主画像のような大きな画像を一旦復 号する必要がなく、 復号処理が高速に行えるためである。

ここで、 サムネィル画像は主画像をそのまま縮小したものである必要はないの で、 図 22 (b) に示すような主画像とサムネイル画像の組み合わせも考えられ る。 図 22 (b) における主画像は図 22 (a) と同じであるが、 サムネイル画 像は主画像から 1視点分の画像だけを取り出して、 全体を 160画素 X 120画 素に縮小したものとなっている。 図 22 (b) では主画像が水平方向に 1/2縮 小されている、 すなわち水平方向と垂直方向の長さの比が 1 ： 2となっているた め、 サムネィル画像は 1視点分の画像を取り出した後に水平方向に 2倍拡大した ものとしている。 ，

図 22 (b) のような画像があった場合に、 3D情報を解釈でき、 3D表示が 可能な 3次元画像再生装置においては、 このファイルが 3 Dを格納したものであ ることを示す情報をサムネイル画像の上に重ね書きすることにより、 図 23 (b ) に示すようなサムネイル表示が可能となる。 図 22 (b) のように主画像中の 1視点分の画像だけを取り出してサムネイル画像とすることにより、 歪みのない サムネイル表示を迅速に行うことが可能となる。 なお、 図 2 2 ( a ) のようなサムネイル画像であっても、 サムネイル表示する 際に 1視点分だけを取り出し、 水平方向に 2倍拡大した後に 3 Dを格納したもの であることを示す情報をサムネィル画像の上に重ね書きすることにより、 図 2 3 ( b ) に示すようなサムネィル表示が可能となる。

ところで、 図 2 2では主画像の結合の有無が 「結合あり」 の場合を示している が、 主画像は図 4 ( a ) のように 「結合なし」 であってもよい。 主画像の結合の 有無が 「結合なし」 の場合は、 主画像として記録される複数の画像のうちの 1枚 を縮小したものをサムネイル画像として記録すればよい。 また、 先に 「2 D選択 」 情報について説明したが、 主画像の結合の有無が 「結合あり」 であっても 「結 合なし」 であっても、 「2 P選択」 で指定された 1視点分の画像を取り出してサ ムネィル画像を作成したり、 サムネィル表示を行うようにしてもよい。

さて、 これまで説明してきたような 3 D情報を解釈できる 3次元画像再生装置 であれば、 図 2 1 ( b ) のようなファイルを受け取っても適切に処理できるが、 ここで 3 D情報を角釈できない古いタイプの 3次元画像再生装置を考えてみる。 この 3次元画像再生装置には、 図 2 0における 3 D情報解析部 2 0 2も画像変換 部 2 0 3もなく、 3次元ディスプレイが接続できないものとする。 このような 3 次元画像再生装置は、 3 D情報を角军釈できないのであるから、 このファイルに格 納されている画像情報が 2 D画像であるか 3 D画像であるかわからず、 また仮に 何らかの手段で 3 D画像だとわかったとしても、 画像変換部を持たないため画像 情報を正しく再生することができない。

このような場合であっても、 上記の D C F規格のような思想に則つてサムネィ ル画像が記録してあれば、 サムネイル画像だけは表示できることが期待できる。 そこで、 本発明においては、 サムネイル画像中にこのファイルが 3 D画像を格 納したものであることを示すシンポルを埋め込んだものをサムネィル画像として 記録する。 例えば図 2 3 ( a ) に示すように、 画像の右下に 「3 D」 という絵文 字を重ねたものをサムネイル画像としてもよいし、 図 2 3 ( b ) に示すように 「 3 D」 という文字を画面中央に透かしのような形で埋め込んだものをサムネイル 画像としてもよい。 また、 図 2 3 ( c ) のような画像をサムネイル画像として記 録しても.. 少なくともこのファイルが 3 D画像を格納したものだということが認 識できる。

3 Dであることを表すシンポルをサムネイル画像中に埋め込む場合、 埋め込む 位置やサイズについては、 記録時にユーザーが指定できるようにしてもよい。 ま た、 複数のシンポルを準備しておいて、 その中から任意のシンポルを選択できる ようにしてもよい。 さらに、 サムネイル画像を作成する際に画像の背景領域を自 動的に判別し、 背景領域にシンポルを書くようにしてもよい。 加えて、 上記のよ うにサムネイル画像中に自動的に 3 Dを表すシンポルを埋め込んだ場合、 一旦記 録されたサムネイル画像を確認し、 シンポルの位置やサイズが好ましくない場合 にはサムネィル画像を作成しなおすことができるようにしてもよい。

このようにして記録された画像ファイルの主画像とサムネイル画像の組み合わ せの例を図 2 4に示す。 ここで主画像として図 2 2の塲合と同様、 例えば図 4 ( e ) のように 2つの視点の画像が水平方向に 1 Z 2に縮小されて結合された画像 が格納されているものとし、 その画素数を 6 4 0画素 X 4 8 0画素であるとする 。 また、 サムネイル画像としては主画像を 1 6 0画素 X 1 2 0画素に縮小した画 像にこのフアイルが 3 D画像を格納したものであることを示すシンポルを埋め込 んだものを用いるものとすると、 図 2 3 ( c ) のようなサムネイル画像を格納す る場合には図 2 4 ( a ) のような組み合わせに、 図 2 3 ( b ) のようなサムネィ ル画像を格納する場合には図 2 4 ( b ) のような組み合わせになる。

シンボル自体はそれが 3 Dを示すものであればテキストであってもよいし、 マ ークであってもよいし、 特定の画像であってもよい。 また、 サムネイル画像内に おけるシンボルの位置に何ら限定はない。 しかし、 いずれの場合であつてもサム ネイル画像の一部として記録されている必要がある。 逆に言えば、 これらのシン ポルはサムネイル画像と分離して記録されたものではない。 ここが重要な点である。 3 D情報を解釈できない 3次元画像再生装置において 有意義なサムネイル表示を行うには、 図 2 3に示したような画像をサムネイル画 像として、 予めファイル中に記録しておく必要がある。 このようにすれば.. 3次 元画像再生装置は、 3 D画像のファイルであっても、 2 D画像のファイルと同じ ようにサムネイル画像を再生するだけで、 画像の中身を確認することができ、 2 D画像のファイルと 3 D画像のファイルを区別することができる。

ところで、 3 D情報を解釈できる 3次元画像再生装置であっても、 あらゆるデ —夕形式をサポートしているとは限らない。 すなわち、 例えば 4眼式の 3 D画像 だけをサボ一トしている 3次元画像再生装置は、 2眼式の 3 D画像データを受け 取っても正しく表示することができない。 このような場合にサムネイル画像を表 示することにより、 画像内容を確認することができる。 3 D情報を解釈できる 3 次元画像再生装置は、 3 D情報を角军釈することにより、 ファイルに含まれる主画 像を正しく再生できるかどうか判定可能であるから、 正しく再生できないデ一夕 形式である場合にはサムネィル画像を表示するとともに、 「サポート外の 3 Dデ' —夕形式である」 旨のメッセ一ジ等を表示するようにしてもよい。

ぐ第 5の実施の形態 >

ここで、 サムネイル画像をファイル中に記録する 3次元画像作成装置の例を図 2 8に示す。 図 2 8の 3次元画像作成装置 1 2 0においてはサムネィル画像作成 部 1 0 6を備え、 符号化データ （もしくは非圧縮の画像情報） 、 3 D情報ととも にサムネイルデータを多重化部 1 0 4において多重化してファイルを作成する。 ファイルの出力先としては I Cメモリや光磁気ディスク、 磁気テープ、 ハードデ イスクなどの記録デバイスや、 L ANやモデムなどの通信デバイスが考えられる 。 なお、 D C F規格ではサムネイル画像の大きさが 1 6 0画素 X 1 2 0画素と定 義されているが、 一般的なサムネイル画像はこのサイズに限定されるものではな い。

ぐ第 6の実施の形態 > 00傷 5484

次に、 図 2 2に示したようなサムネイル画像から図 2 3に示したようなサムネ ィル表示を行う 3次元画像再生装置の例を図 2 6に示す。 図 2 6において図 2 0 に示した 3次元画像再生装置 2 1 0と機能が同じ部分については同じ番号を付し て説明を省略する。 図 2 6に示した 3次元画像再生装置 2 2 0においては、 逆多 重化部 2 2 1においてサムネイルデータが分離される。 再生しょうとするデータ が 3 D画像であつた場合、 3 D情報解析部 2 0 2からの指示により、 サムネイル 生成部 2 2 5は、 サムネイルデータを復号した (非圧縮データの場合は復号する 必要はない） サムネイル画像と 3 D画像であることを示すシンポルを重ねてサム ネイル表示する。 サムネイルを 3 D表示する場合には、 サムネイル生成部 2 2 5 は、 画像変換部 2 0 3が主画像に対して行う変換と同じ処理を、 サムネイル画像 に対して施す。

<第 7の実施の形態 >

また、 3 D表示用画像と 2 D表示用画像を切り替えて出力できる 3次元画像再 生装置の例を図 2 7に示す。 図 2 7において図 2 6に示した 3次元画像再生装置 2 2 0と機能が同じ部分については同じ番号を付して説明を省略する。 図 2 7に 示した 3次元画像再生装置 2 3 0において、 図 2 4に示したような主画像および サムネイル画像を符号化した画像データが入力された場合、 復号部 2 0 4で復号 された画像情報は画像変換部 2 0 3に送られるとともに、 サムネイル生成部 2 2 5にも送られる。 制御部 2 2 6は 3 D表示用画像を出力するか 2 D表示用画像を 出力するかの指示を画像変換部 2 0 3とサムネイル生成部 2 2 5に与える。 サム ネイルの 2 D表示を行う場合、 サムネイル生成部 2 2 5は、 図 2 4のようなサム ネイル画像をそのまま出力してもよいし （この場合は 3 Dを示すシンポルも表示 される） 、 入力された主画像を縮小し、 画像変換部 2 0 3と同様の処理を行うこ とにより 3 Dであることを示すシンポルを含まないサムネイル画像を出力しても よい。 サムネイルの 3 D表示を行う場合は、 入力された主画像を縮小し、 画像変 換部 2 0 3と同様の処理を行えばよい。 なお、 これまでの説明では、 3Dのファイルであれば 3Dであることを示すシ ンポルを、 サムネイル画像に重ねて表示するものとしたが、 逆に 3Dのファイル に対してはサムネィル画像をそのまま表示し、 2Dのファイルである場合に 2D であることを示すシンポルをサムネイル画像に重ねて表示してもよい。

また、 3Dのファイルに対して 3Dであることを示すシンポルをサムネイル画 像に重ねて表示するのみならず、 視点数や視点番号等、 3D情報に含まれる情報 をサムネイル画像に重ねて表示するようにしてもよい。 さらに、 3D情報に含ま れる情報や 3 Dであることを示すシンボルは、 サムネイル画像に重ねて表示する のみならず、 サムネイル画像近傍の所定の位置に表示するようにしてもよい。 図 25は、 ファイルに格納するサムネイル画像の別の例を示したものである。

2つ以上の視点の画像が結合された第 1の画像と、 そこから 1つの視点だけを取 り出した第 2の画像をピクチャーインピクチャーの形にしたものである。 図 25 (a) は、 第 1の画像を親画像とし、 第 2の画像を子画像としたものであるが、 図 25 (b) に示すように親画像と子画像を入れ替えてもよい。 また、 図 25 ( 0) 、 図25 (d) は、 それぞれ図 25 (a) 、 図 25 (b) の画像に 3Dであ ることを示すシンポルを埋め込んだものである。 図 25 (c) 、 (d) について は、 3Dであることを示すシンポルをサムネイル画像中には記録せず、 サムネィ ル表示する際に重ねて出力するようにしてもよい。 図 25のようなサムネイル表 示を用いることにより、 歪のない画像による画像内容確認と実際に主画像として 記録されている画像の形の確認を両方同時に行うことができる。

以下、 本発明の実施の形態について、 図面を参照しながら説明する。

<第 8の実施の形態 >

本発明の第 8の実施の形態においては、 3次元画像表示の GU Iアプリケーシ ヨンソフトによりパーソナルコンピュータ (以降パソコンと略称する) が立体表 示処理を行って、 立体ディスプレイに立体表示する。 すなわち、 パソコンに備え もれた C P Uが CD— ROMゃハ一ドディスク等の記録媒体に記録されている立 体表示アプリケーションソフトに従って、 動画や静止画に対して処理を行い、 立 体ディスプレイに立体表示する。 更に、 ユーザ一がマウスあるいはキーポードに より立体処理について指示を行えば、 それに基づいて C P Uが処理を行う。 図 2 9は第 8の実施形態による立体ディスプレイの表示画像を説明する図であ り、 ディスプレイ 1上に 3次元画像表示アプリケーションによる処理表示画像 2 が表示されている。 3次元画像表示アプリケーションの処理表示画像 2は、 3次 元画像表示エリア 3、 拡大率変更バー 4、 警告表示エリア 5からなる。

従来の技術の説明に用いた図 3 9、 図 4 0からわかるように、 3次元画像が拡 大表示される時には、 立体ディスプレイより手前に飛び出して見える飛び出し量 、 立体ディスプレイよりも奥に引っ込んで見える引き込み量ともに拡大され、 そ れぞれ、 ある閾値より大きくなると立体視が不可能となる。 この時、 予め表示す る 3次元画像の最大飛び出し量、 最大引き込み量がわかっていれば、 式 （1 ) 、 式 （2 ) により、 拡大率に応じて、 3次元画像の飛び出し量及び引き込み量がど の程度変化するか求められる。 本実施の形態では、 例えば、 3次元画像の飛び出 しが強くなり、 長時間見続けるとユーザーに負担がかかるような時に、 ユーザー に対して警告する。

次に、 第 8の実施の形態の処理の流れを図 3 0のフローチャートにより説明す る。

ステップ S 1にて、 ディスプレイ情報を取得する。 ここでいうディスプレイ情 報とは、 ディスプレイの幅 W [m] 及び、 ディスプレイの解像度 P [ d o t ] 、 及びユーザーとディスプレイとの距離 D [m] である。 ユーザ一とディスプレイ との距離は、 位置センサ一等を用いて正確に取得しても良いが、 例えば、 デイス プレイサイズが 1 5インチであれば、 ユーザ一との距離は約 l m程度となるなど 、 ディスプレイサイズゃ種類に応じてどの程度のユーザーとの距離が離れている か予め、 おおよその距離をデ一夕ベース等に蓄えておき、 その値を使用する方法 が簡便である。 また、 左右両眼に異なる映像を映し出して立体感を出す立体ディスプレイでは

、 例えば、 HMDのように左右両眼に全く別々の表示装置を用いる場合には左右 画像が混じることはないが、 パララックバリァ方式やレンチキュラ方式の立体デ イスプレイでは、 ユーザーの左眼から見た画像に、 右眼用の画像がわずかに混じ つて重なって表示されることがある。 このことをクロス！ クと呼ぶ。 一般にク ロストークが無いほど立体ディスプレイとして優秀であり、 クロストークが大き くなると、 快適に立体視できる範囲が狭くなる。 このようなことから、 ディスプ レイ情報としてクロストークの情報を含め、 以下で説明するようにクロストーク が大きい時には、 立体ディスプレイで快適に立体視できる視差の範囲を小さくす るようにしても良い。

そこで、 ステップ S 2にて、 立体視できる視差範囲を取得する。

パソコンの C P Uは、 式 （1 ) 、 式 （2 ) 、 式 （3 ) を用いて、 この時の快適 に立体視できる範囲の視差量 0を、 左右画像のずれにより計算することで、 快適 に立体視できる範囲の、 飛び出し量 t h— f [ d o t ] 、 引き込み量 t h— b [ d o t ] を決定する。 ここで、 t h— f , t h—bは立体ディスプレイ面上の左 右の対応点の距離 （視差） として表現されている。 図 3 9、 図 4 0より明らかな ように、 画面より飛び出す画像では、 左眼画像が右眼画像よりも右側にあり、 画 ' 面より引っ込む画像では、 左眼画像が右眼画像よりも左側にあるために、 本発明 では左眼画像を基準として右眼画像の程度ずれを求め、 飛び出し （左眼画像が右 側） の時には視差の値を正、 引っ込み （左眼画像が左側） の時には視差の値を負 とする。

視差の値が t h— から t h一 bまでの範囲は、 快適に立体視できる立体表示 の最大視差範囲であるということができる。 また、 t h— t h—bはそれぞ れ最大視差範囲を示す閾値である。

快適に立体視できる視差量 0は、 各種研究によって経験的に求められており、 立体ディスプレイの大きさ及びクロストークと相関があることが知られている。 例えば、 1 5ィンチの立体ディスプレイ使用時に快適に立体視できる Θの範囲を 、 飛び出し 3 5分、 引っ込み 3 5分と、 ユーザーの両眼間隔を 6 0 mmとすると 、 立体表示の最大視差範囲を示す閾値は、 約 t h— f = 2 5， t h— b =— 2 5 [ d o t ] となる。 従って、 立体視可能な視差範囲は、 —2 5≤S≤2 5となる 。 当然のことながら、 この数値は S 1で取得されるディスプレイの情報によって 変化し、 また、 あくまでも、 経験的に求められる値であるため、 式 （1 ) 、 式 （ 2 ) 、 式 （3 ) を用いずに、 立体ディスプレイの表示性能を実験して求められた 値を予めデータベース等に保存して、 それを C P Uが利用することも当然考えら れる。

ステップ S 3にて、 表示元となる 3次元画像の最大飛び出し量 f [ d o t ] 及 び最大引き込み量 b [ d o t ] 、 すなわち 3次元画像の最大視差量を 3次元画像 のタグ情報から取得する。 ここでタグ情報とは撮影された時の撮影条件等、 3次 元画像に別途付けられた付加情報のことである。 本実施形態では、 予め 3次元画 像の最大飛び出し量及び最大引き込み量の情報が夕グ情報として付加されている こととしたが、 fや bの情報をステレオマッチングにより自動的に求める方法も あり、 タグ情報からの取得に限定するものではない。 ここでも、 f、 bは立体デ イスプレイ面上での視差量として表現されている。 これらの値は 3次元画像の視 差の範囲 （視差範囲） を示すものである。

ステップ S 4にて、 ュ一ザ一により、 3次元画像の拡大あるいは縮小の比率 E [%] を拡大率変更バー 4により入力する。 拡大率の入力は、 ある特定のキーポ

―ドを押すことによつて変更したり、 マウスのスクロ一ルバ一によつて変更する 等でも良く、 拡大率変更バーに限るものではない。 また、 本発明は拡大処理だけ でなく縮小処理にも対応できるものとし、 ステップ S 5では拡大あるいは縮小の 比率を取得できるものとする。

ステップ S 5にて、 3次元画像の視差量が立体視可能な視差範囲内にあるか否 かを判定する。 ステップ S 4にて得られた拡大率 E [%] と、 ステップ S 3にて 求められた最大飛び出し量 f及び最大引き込み量 bをそれぞれ掛け合わせ、 拡大 後の 3次元画像の最大飛び出し量 f ' =E f [do t] 及び拡大後の 3次元画像 の最大引き込み量 b' =Eb [d o t] を求め、 ステツプ S 3にて求められた、 t h_f , t h— bと比較し、 ステップ S 5にて立体視可能な視差範囲内にある か否かを判定する。 3次元画像の視差量が前記視差範囲内にあれば、 .処理を終了 し、 3次元画像の視差量が前記視差範囲外にあれば、 ステップ S 6に進む。 パソコンの C P Uは、 ステツプ S 6にて、 3次元画像の視差量が立体視可能な 視差範囲からどの程度ずれているかにより、 「飛び出しが強すぎます」 、 「引つ 込みが強すぎます」 、 「飛び出しが弱すぎます」 、 「引っ込みが弱すぎます」 等 のメッセ一ジを決定し、 警告表示エリア 5に表示する。 この時、 メッセージを音 声で知らせたり、 また、 3次元画像表示エリア 3の色を変える等でも良く、 ユー ザ一に対する警告は、 メッセージの警告表示エリア 5への表示に限るものではな い。

なお、 本実施形態では、 3次元画像の飛び出し量の判定に、 左右画像の対応点 のずれである視差量 [do t] を使用しているが、 図 39、 図 40で示すような 、 実際にディスプレイから飛び出してみえる量 z [m] を用いて判定しても良い ことは、 明白である。

<第 9の実施の形態 >

本発明の第 9の実施の形態について説明する。

第 9の実施の形態における立体ディスプレイ 1の処理表示画像 6は、 図 31に 示すように、 3次元画像表示エリア 3、 拡大率変更バー 4、 警告表示エリア 5か らなる。

第 9の実施の形態の処理の流れを図 32のフローチャートにより説明する。 ス テツプ S 1からステップ S 5までは、 第 8の実施の形態と同じである。

ステップ S 16では、 図 33で示すように、 飛び出しの補正 （視差量調整） を 衧ぅ。 図 33 (a) では、 拡大処理前の 3次元画像の視差の範囲を、 （b) では 拡大処理後の 3次元画像の視差範囲を、 （c ) では、 補正処理後の 3次元画像の 視差範囲を示している。 図 3 3において、 横軸は左右画像のステレオ対応点のず れ （d o t ) の大きさを示し、 ハッチングされている範囲は快適に立体視できる 視差の範囲を示している。 記号は、 拡大処理を行う前の 3次元画像の最大飛び出 し量を f、 引き込み量を bとし、 拡大後の画像の最大飛び出し量を Γ 、 引き込 み量を b ' 、 立体ディスプレイで快適に立体視できる最大飛び出し量を t h—f , 弓 Iき込み量を t h— bとする。 拡大後の画像の最大飛び出し量 f ' が、 t h— f よりも大きくても、 f ' 一 b ' 力 t h—f — t h— bよりも小さいときには 、 右眼画像全体を図 3 4に示すように: f 一 t h—f ' だけずらすことにより、 3 次元画像全体を立体ディスプレイから引っ込むように表示させることによって、 立体感の補正を行う。 図 3 4で破線で囲まれた部分 6が元画像を、 実線で囲まれ た部分 7がずらし処理後の画像を表している。 しかし、 f ' — b， が、 t h— f 一 t h— bよりも大きい時には、 単純に右眼画像全体をずらしだけでは、 飛び出 しの補正を行うことは出来ない。

引っ込みにおいても同様に、 拡大後の画像の最大引き込み量 b ' が、 t h— b よりも小さく、 Γ - b ' が、 t h— f— t h— bよりも小さいときには、 右眼 画像全体を、 b ' — t h—bだけずらすことにより、 3次元画像全体を立体ディ スプレイから飛び出すように表示することで、 快適な立体視が可能となる。 なお 、 ずらし量が正の時は、 右眼画像全体を右にずらし、 ずらし量が負の時は右眼画 像全体を左にずらす。

本実施形態では、 右眼画像をずらすことで、 3次元画像全体の飛び出し補正を 行っているが、 右眼画像のずらしに限定したものではなく、 右眼画像を固定し左 眼画像をずらす方法や、 両方同時にずらしても良い。

更に、 Γ _ b， が、 t h—f— t h— bよりも大きい時には、 警告エリアに 「強すぎて補正できません」 と表示をしたり、 3次元画像表示エリアに、 左右画 像の片方だけ表示することで、 ユーザーに不快な 3次元画像を表示しないように することも可能であるが、 警告表示エリア 5は必須ではなく、 警告しなくとも良 い。

また、 拡大処理時における立体感の補正だけでなく、 縮小処理して立体感の乏 しくなつた 3次元画像を、 全体的に飛び出し、 もしくは引っ込ませることで、 立 体感を強調して表示することも可能である。 例えば、 ステップ S 1 6において、 ステツプ S 4の拡大率が 1より小さい時の処理として、 縮小処理後の 3次元画像 を、 f 一 : T だけ、 ディスプレイより前面に飛び出すようにずらすことにより、 縮小処理後と縮小処理前との最大飛び出し位置を同じにすることで、 飛び出し感 が大きい 3次元画像を、 縮小後でも画面より手前に大きく飛び出してみせること ができる。 逆に、 最大飛び出し位置を固定せずに、 最大引き込み位置を固定して 、 引き込み量を同じにしてもよい。

ぐ第 1 0の実施の形態 > '

本発明の第 1 0の実施の形態について説明する。

本発明は第 1 0の実施の形態は、 第 9の実施の形態におけるステップ S 1 6の 飛び出しの補正処理 （視差量調整処理） を改良したものである。

本実施の形態では、 3次元画像全体をずらしても快適な立体視が不可能な場合 であっても、 3次元画像の中央部を優先して立体感の調整を行うことにより、 立 体視しゃすいように表示することを可能とする。 これは、 人間の視覚が視野の周 辺よりも中心の方が物をはつきりと見ることができる特性を利用したものである 。

第 1 0の実施の形態では、 図 3 2の示すフローチャートのステップ S 1からス テツプ S 5までは第 9の実施の形態と同じ処理であるが、 ステップ S 1 6の視差 量調製の代わりに、 ステップ S 1 7の視差量調整を行う。 すなわち、 図 3 5のス テツプ S 2 1からステップ S 2 6の処理を行う。 この時の処理の流れを図 3 5の フローチャートを用いて以下に説明する。

2 1では、 処理対象の 3次元画像の視差量取得エリアの初期値とし て、 画像全体を指定する。

ステップ S 22では、 視差量取得エリア内において、 各画素ごとのび出し量及 び引き込み量を比較し、 視差量取得エリア内の最大飛び出し量 Γ 及び最大引き 込み量 b' を取得する。 本実施の形態では、 予め画像の各画素ごとに飛び出し量 及び引き込み量の情報がタグ情報として付加されていることとするが、 ステレオ マツチングにより自動的に各画素ごとに求める方法もあり、 夕グ情報からの取得 に限定するものではない。 また、 全ての画素において、 飛び出し量及び引き込み 量を所得する必要はなく、 視差量取得エリァ内の一部の特徵的な画素について、 取得する方法を用いても良い。

ステツプ S 23では、 3次元画像全体をずらす視差量の調整により立体視が可 能となるかどうかを判断する。 図 34で示すように f 一 t h— Γ だけずらすこ とにより、 3次元画像全体を立体ディスプレイから引っ込むように表示すること で、 快適な立体視が可能となる。 しかし、 Γ 一 b' が、 t h— ί— t h— bよ りも大きい時には、 単純に左右画像全体をずらすだけでは、 飛び出しの補正を行 うことは出来ない。

従って、 パソコンの CPUは、 Γ 一 b， が、 t h— f — t h— bよりも大き い時には、 上記視差量の調整により立体視が可能とならないと判断し、 ステップ S 24にて、 視差量取得エリアを縮小して、 再度、 ステップ S 22からの処理を 繰り返す。 本実施形態では、 図 37で示すように、 初期値として 3次元画像全体 を範囲 L1 (横 wl， 縦 h2) に設定し、 L 1にて補正処理が行えないときには 、 L 2 (横 w2， 縦 h2) を補正処理を行う範囲とし、 L 2で補正処理が行えな いときには、 L3 (横 w3， 縦] Ί3) …と繰り返す。 ここで、 wn=0. 9 Xw n— 1、 n = 0. 9Xhn— 1とするが、 この漸化式に限定するものではない こうして、 パソコンの CPUは、 ステップ 23にて視差量の調整により立体視 が可能と判断した場合に、 ステップ S 25にて 3次元画像のずらしによる視差量 調整を行う。

立体感の調整を行う点として画面中央でなく、 一番飛び出しが大きい物体ゃ最 も注目している物体を、 予め注目点として指定しておき、 その注目点周辺を優先 して立体感の調整を行うことにより、 立体視しやすいように表示することも可能 である。

<第 1 1の実施の形態 >

これまで説明したいずれの実施の形態もパソコン上のァプリケ一ションに限定 するものではなく、 TVや P D A、 携帯電話等でも実施可能である。 これについ て、 本発明の第 1 1の実施の形態として以下に説明する。

第 4の実施の形態は、 図 3 8に示すように、 3次元画像データ供給部 1 0、 デ

—夕処理用一時記憶部 1 1、 3次元画像表示部 1 2、 拡大率指定部 1 3、 視差調 整部 1 4、 警告判定部 1 5、 警告表示部 1 6から構成される。

まず、 3次元画像データ供給部 1 0から 3次元画像データの各画素ごとの色デ

—夕及び視差データが、 3次元画像表示部 1 2から表示装置の大きさ及び解像度 、 クロストークの大きさが、 データ処理用記憶部 1 1に格納される。 ここで、 3 次元画像データ供給部 1 0として、 磁気ディスクや半導体メモリー、 有線及び無 線ネットワークによるデ一夕送信等が考えられる。 データ処理用一時記憶部とし て、 P D Aや携帯電話等に搭載される半導体メモリ一や磁気ディスク等が考えら れる。

次に、 ユーザ一によって、 拡大率指定部 1 3により、 3次元画像表示をする時 の拡大率を指定する。 拡大率指定部 1 3としては、 拡大縮小を行うポタンや、 ダ ィャル等が考えられる。

視差調整部 1 4では、 データ処理用記憶部 1 1に格納されている 3次元画像デ —夕に対して、 第 8の実施形態におけるステップ S 1〜S 5と同様の処理を行う 。 すなわち、 データ処理用記憶部 1 1に格納されているディスプレイ情報を取得 、 3次元画像データの立体視可能な視差範囲を取得し、 これを 3次元画像の視 差量と比較して、 3次元画像の視差量が立体視可能な視差範囲内にあるかを判定 する。

もし、 立体視可能な視差範囲外である場合、 警告処理部 1 5が、 3次元画像表 示部 1 2にて警告する。 警告表示する文言は、 データ処理用記憶部 1 1に記憶さ れており、 3次元画像の視差量が立体視可能な視差範囲からどの程度ずれている かにより、 警告処理部 1 5が判断する。 こうして、 警告する文言を一旦データ処 理用記憶部 1 1に格納して 3次元画像表示部 1 2にてオーバ一レイ表示して警告 する。

警告は、 3次元画像表示部 1 2とは別の警告専用示部を用いても良いし、スピー 力—やへッドフォンを使用して警告音等で警告しても良い。

産業上の利用可能性

本発明は、 3次元画像を表示させるための 3次元画像作成装置や 3次元画像処 理装置等であり、 ユーザ一が 3次元画像の内容を適切に確認できるようにし、 ま た、 拡大縮小した場合でも 3次元画像の内容をユーザーに適切に提示する装置に 適している。

Claims

請 求 の 範 囲 '

1 . 複数視点に対応した画像情報である主画像を作成する主画像作成部と、 サ ムネィル画像を作成するサムネィル画像作成部と、 前記主画像を 3次元表示する ための 3次元制御情報を作成する 3次元制御情報作成部と、 前記主画像と前記サ ムネイル画像と前記 3次元制御情報とを多重化する多重化部とを備えることを特 徵とする 3次元画像作成装置。

2 . 前記サムネィル画像作成部は、 主画像をそのまま縮小したサムネィル画像 を作成することを特徴とする請求の範囲第 1項に記載の 3次元画像作成装置。

3 . 前記サムネィル画像作成部は、 主画像から 1視点分の画像を抜き出してサ ムネィル画像を作成することを特徴とする請求の範囲第 1項に記載の 3次元画像

4. 前記サムネイル画像作成部は、 サムネイル画像に 3次元画像であることを 示すシンポルを埋め込むことを特徴とする請求の範囲第 1項に記載の 3次元画像 作成装置。

5 . 前記サムネイル画像作成部は、 主画像の縮小画像と、 主画像から 1視点分 の画像を抜き出して縮小した画像をピクチャーインピクチャ一の形にしたサムネ ィル画像を作成することを特徴とする請求の範囲第 1項に記載の 3次元画像作成

6 . 入力された画像デ一夕から主画像データとサムネイルデータと 3次元制御 情報を分離する逆多重化部と、 主画像データが 3次元画像である場合にはサムネ ィルデー夕に 3次元画像であることを示すシンポルを重ねたものをサムネイルと して出力するサムネイル生成部とを備えることを特徴とする 3次元画像再生装置

7 . 立体視可能な視差範囲を取得する視差範囲取得手段と、

' 3次元画像の視差量を取得する視差量取得手段と、 前記 3次元画像の視差量が前記視差範囲内にあるか否かを判定する判定手段と を備えたことを特徴とする 3次元画像処理装置。

8 . 立体視可能な視差範囲を取得する視差範囲取得手段と、

3次元画像の視差量を取得する視差量取得手段と、

前記 3次元画像の拡大あるいは縮小の比率を取得する比率取得手段と、 前記比率に従って拡大あるいは縮小した前記 3次元画像の視差量が前記視差範 囲内にあるか否かを判定する判定手段とを備えたことを特徴とする 3次元画像処

9 . 前記判定手段は、 3次元画像の一部の領域について判定処理を行うことを 特徴とする請求の範囲第 7項または第 8項に記載の 3次元画像処理装置。

1 0 . 前記判定手段が前記視差量が前記視差領域内にないと判定した場合にュ 一ザ一に警告を行う警告手段を備えたことを特徴とする請求の範囲第 7項乃至第 9項のいずれかに記載の 3次元画像処理装置。

1 1 . 前記判定手段が前記視差量が前記視差範囲内にないと判定した場合に 3 次元画像の視差量を調整する視差調整手段を備えたことを特徴とする請求の範囲 第 7項乃至第 9項のいずれかに記載の 3次元画像処理装置。

1 2 . 前記視差量取得手段は、 前記 3次元画像を表示する立体ディスプレイの 解像度及び Zまたは大きさを用いることを特徴とする請求の範囲第 7項乃至第 1 1項のいずれかに記載の 3次元画像処理装置。

1 3 . 前記視差範囲取得手段は、 前記 3次元画像を表示する立体ディスプレイ の左右画像の分別能力を用いることを特徴とする請求の範囲第 7項乃至第 1 1項 のいずれかに記載の 3次元画像処理装置。

1 4. 前記視差量取得手段は、 予め 3次元画像に付加されている値を用いるこ とを特徴とする請求の範囲第 7項乃至第 1 1項のいずれかに記載の 3次元画像処

1 5 . コンピュータを、 立体視可能な視差範囲を取得する視差範囲取得手段と 、 3次元画像の視差量を取得する視差量取得手段と、 前記 3次元画像の視差量が 前記視差範囲内にあるか否かを判定する判定手段として機能させることを特徴と する 3次元画像処理プログラム。

1 6 . コンピュータを、 立体視可能な視差範囲を取得する視差範囲取得手段と 、 3次元画像の視差量を取得する視差量取得手段と、 前記 3次元画像の拡大ある いは縮小の比率を取得する比率取得手段と、 前記比率に従って拡大あるいは縮小 した前記 3次元画像の視差量が前記視差範囲内にあるか否かを判定する判定手段 として機能させることを特徴とする 3次元画像処理プログラム。

1 7 . 前記判定手段は、 3次元画像の一部の領域について判定処理を行うこと を特徴とする請求の範囲第 1 5項または第 1 6項に記載の 3次元画像処理プログ ラム。

1 8 . コンピュータを、 前記判定手段が前記視差量が前記視差領域内にないと 判定した場合にユーザーに警告を行う警告手段として機能させることを特徴とす る請求の範囲第 1 5項乃至第 1 7項のいずれかに記載の 3次元画像処理プロダラ ム。

1 9 . コンピュータを、 前記判定手段が前記視差量が前記視差範囲内にないと 判定した場合に 3次元画像の視差量を調整する視差調整手段として機能させるこ とを特徴とする請求の範囲第 1 5項乃至第 1 7項のいずれかに記載の 3次元画像 処理プログラム。

2 0 . 前記視差量取得手段は、 前記 3次元画像を表示する立体ディスプレイの 解像度及び Zまたは大きさを用いることを特徴とする請求の範囲第 1 5項乃至第 1 9項のいずれかに記載の 3次元画像処理プログラム。

2 1 . 前記視差範囲取得手段は、 前記 3次元画像を表示する立体ディスプレイ の左右画像の分別能力を用いることを特徴とする請求の範囲第 1 5項乃至第 1 9 項のいずれかに記載の 3次元画像処理プログラム。

2 . 前記視差量取得手段は、 予め 3次元画像に付加されている値を用いるこ とを特徴とする請求の範囲第 1 5項乃至第 1 9項のいずれかに記載の 3次元画像 処理プログラム。

2 3 . 請求の範囲第 1 5項乃至第 2 2項のいずれかのプログラムを記録したコ ンピュータ読み取り可能な記録媒体。