JP2019185283A - ３次元モデル生成装置及びそのプログラム、並びに、ｉｐ立体像表示システム - Google Patents

Abstract

【課題】ＩＰ立体像表示装置が表示する立体像の品質を向上させる３次元モデル生成装置を提供する。【解決手段】３次元モデル生成装置３は、仮想空間にＩＰ立体像表示装置５の再現領域を設定する再現領域設定手段３１と、仮想空間に設定された再現領域において、線形サンプリング位置を算出する線形サンプリング位置算出手段３２と、線形サンプリング位置から、再現領域の手前側が奥側よりも密の非線形サンプリング位置を算出する非線形サンプリング位置算出手段３３と、多視点画像に対し、非線形サンプリング位置で奥行き推定を行い、３次元モデルを生成する３次元モデル生成手段３４とを備える。【選択図】図２

Description

本発明は、３次元モデル生成装置及びそのプログラム、並びに、ＩＰ立体像表示システムに関する。

任意の視点で自由に立体像を視認することが可能な立体像表示方式の一つとして、インテグラルフォトグラフィ（Integral Photography：以下ＩＰ）方式が知られている。このＩＰ方式では、実体のある被写体を１台のカメラで撮影し、平面上に配列されたレンズアレイを利用して要素画像を生成する。また、ＩＰ方式では、コンピュータグラフィックス（ＣＧ）や複数のカメラで撮影された映像から生成した３次元モデルを用いて、要素画像を生成することもできる。

このＩＰ方式では、表示される立体像の奥行き位置がレンズアレイやピンホール群から離れると、解像度が低下するという奥行き再現範囲の問題が知られている。図９には、観察者がレンズアレイからある距離（視距離Ｌ）だけ離間して立体像を視認したときの立体像の奥行き位置と解像度との関係を図示した。図９において、横軸は視点（ｚ＝０）から立体像までの距離（立体像の奥行き位置）、縦軸は立体像の解像度（空間周波数）を示す。ここで、立体像の空間周波数とは、再生された立体像を観察したときに単位角度内に再生できる縞の最大数（視覚あたりの解像度）である。例えば、１度あたりで６０画素視認可能であれば、空間周波数は３０ｃｐｄ（cycles per degree）である。

図９に示すように、ＩＰ方式で再生される立体像の解像度は、レンズアレイ位置（ｚ＝Ｌ）近傍の前後一定の奥行き再現範囲で最大解像度（ナイキスト周波数）を維持し、その範囲を超えると急激に低下する。この最大解像度は、レンズアレイを構成する要素レンズの間隔（ピッチ）で特定され、この奥行き再現範囲を超えた立体像は、レンズアレイの位置から離れるにつれてボケてしまう。これは、ＩＰ方式においては、原理的に立体像がボケずに表示可能な奥行き再現範囲が存在することを意味する。

そこで、多視点カメラを用いたＩＰ立体撮影手法の３次元モデル生成では、この奥行き再現範囲の問題に対応するために、非線形奥行き圧縮技術が提案されている（例えば、特許文献１）。この従来技術は、図１０に示すように、３次元モデルの奥行きを非線形に圧縮することで、ＩＰ立体像表示装置の奥行き再現範囲に表示対象の３次元モデルを収めるものである。具体的には、この従来技術は、下記の式（９−１）で表される非線形奥行き圧縮関数を用いて、３次元モデルを変換する。

なお、ｘ，ｙ，ｚが奥行き圧縮前の座標値であり、ｘ´，ｙ´，ｚ´が奥行き圧縮後の座標値であり、Ｄが奥行き圧縮後の奥行範囲（ＩＰ立体像表示装置の奥行き再現範囲）を表す。
また、図１０では、非線形奥行き圧縮関数の変換結果を実線で図示し、参考として、下記の式（９−２）で表される線形奥行き圧縮関数の変換結果を破線で図示した。なお、式（９−２）において、ａは予め設定された圧縮率を表す（但し、０＜ａ＜１）。

特開２０１７−１１５２０号公報

図１１（ａ）の被写体αを多視点カメラで撮影し、ＩＰ立体像表示装置で表示するための３次元モデルβを生成する場合を考える。この場合、図１１（ｂ）に示すように、非線形奥行き圧縮前の３次元モデルβを、奥行き方向（Ｚ軸方向）で線形にサンプリングしてから奥行推定を行うことが多い。３次元モデルβに非線形奥行き圧縮を適用した場合、図１１（ｃ）に示すように、手前が疎に、奥が密にサンプリングされた３次元モデルβが生成されることになる。ＩＰ立体像表示装置においては、３次元モデルβの手前側が奥側よりも顕著に観察者に認識される。その結果、手前側が疎にサンプリングされた３次元モデルβの表示は、立体像の品質低下につながる。
なお、図１１（ｂ）及び図１１（ｃ）では、Ｚ軸方向のサンプリング位置を破線で図示した。

そこで、本発明は、ＩＰ立体像表示装置が表示する立体像の品質を向上させる３次元モデル生成装置及びそのプログラム、並びに、ＩＰ立体像表示システムを提供することを課題とする。

前記した課題に鑑みて、本発明に係る３次元モデル生成装置は、非線形奥行き圧縮された被写体の３次元モデルをＩＰ立体像表示装置で立体表示するために、３次元モデルを生成する３次元モデル生成装置であって、パラメータ入力手段と、再現領域設定手段と、線形サンプリング位置算出手段と、非線形サンプリング位置算出手段と、３次元モデル生成手段と、を備える構成とした。

かかる構成によれば、３次元モデル生成装置は、パラメータ入力手段によって、被写体を撮影する多視点カメラのうち予め定めた１台の基準カメラの姿勢及び画角と、ＩＰ立体像表示装置の奥行き方向再現範囲及び画面サイズとがパラメータとして入力される。
３次元モデル生成装置は、再現領域設定手段によって、姿勢及び画角で表される基準カメラの撮影領域に、奥行き方向再現範囲及び画面サイズで表されるＩＰ立体像表示装置の再現領域を設定し、再現領域を３次元モデルが配置される仮想空間に設定する。

３次元モデル生成装置は、線形サンプリング位置算出手段によって、仮想空間に設定された再現領域において、奥行き方向で等間隔の線形サンプリング位置を算出する。
３次元モデル生成装置は、非線形サンプリング位置算出手段によって、線形サンプリング位置から、再現領域の手前側が奥側よりも密の非線形サンプリング位置を算出する。
３次元モデル生成装置は、３次元モデル生成手段によって、多視点カメラが被写体を撮影した多視点画像に対し、非線形サンプリング位置で奥行き推定を行い、３次元モデルを生成する。

また、前記した課題に鑑みて、本発明に係るＩＰ立体像表示システムは、前記した３次元モデル生成装置と、３次元モデル生成装置が生成した３次元モデルを非線形奥行き圧縮し、奥行きが圧縮された３次元モデルの立体画像を生成する立体像奥行き圧縮装置と、立体像奥行き圧縮装置が生成した立体画像を立体表示するＩＰ立体像表示装置と、を備える構成とした。

これにより、３次元モデルは、手前側が奥側よりも密にサンプリングされている。従って、この３次元モデルは、非線形奥行き圧縮の際、観察者に認識されやすい手前側から等間隔でサンプリングされることになる。
なお、前記した３次元モデル生成装置は、一般的なコンピュータを前記した各手段として動作させる３次元モデル生成プログラムで実現することもできる。

本発明によれば、非線形奥行き圧縮後に、観察者に認識されやすい手前側から等間隔でサンプリングされる３次元モデルを生成するので、ＩＰ立体像表示装置が表示する立体像の品質を向上させることができる。

本発明の実施形態に係るＩＰ立体像表示システムの全体構成図である。 図１のＩＰ立体像表示システムの構成を示すブロック図である。 実施形態におけるマスターカメラの撮影領域を説明する説明図である。 実施形態において、マスターカメラの撮影領域に設定したＩＰ立体像表示装置の再現領域を説明する説明図である。 図４の再現領域を垂直方向で示した説明図である。 実施形態において、線形サンプリング位置の算出を説明する説明図である 実施形態において、（ａ）は被写体を表し、（ｂ）は非線形奥行き圧縮前の３次元モデルにおける非線形サンプリング位置を表し、（ｃ）は非線形奥行き圧縮後の３次元モデルにおけるサンプリング位置を表す図である。 図２のＩＰ立体像表示システムの動作を示すフローチャートである。 従来のＩＰ立体像表示装置において、解像度と奥行き再現範囲の関係を示すグラフである。 従来の非線形奥行き圧縮技術において、変換前後の奥行き位置の関係を示すグラフである。 従来技術において、（ａ）は被写体を表し、（ｂ）は非線形奥行き圧縮前の３次元モデルにおける非線形サンプリング位置を表し、（ｃ）は非線形奥行き圧縮後の３次元モデルにおけるサンプリング位置を表す図である。

（実施形態）
［ＩＰ立体像表示システムの全体構成］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図１を参照し、本発明の実施形態に係るＩＰ立体像表示システム１の全体構成について、説明する。
図１に示すように、ＩＰ立体像表示システム１は、被写体αの立体像γをＩＰ立体像表示装置５で立体表示するものであり、多視点ロボットカメラ（多視点カメラ）２と、３次元モデル生成装置３と、立体像奥行き圧縮装置４と、ＩＰ立体像表示装置５と、測距装置６とを備える。

多視点ロボットカメラ２は、被写体αの多視点画像を撮影し、撮影した多視点画像を３次元モデル生成装置３に出力するものである。本実施形態では、多視点ロボットカメラ２は、マスターカメラ（基準カメラ）２_Ｍ、及び、６台のリファレンスカメラ２_１〜２_６の計７台のロボットカメラで構成されている。また、多視点ロボットカメラ２は、ロボットカメラの輻輳角が許容視差角以下となるベースラインで、ロボットカメラが正六角形状に配置されている。
なお、マスターカメラ２_Ｍとは、カメラマンが操作するロボットカメラのことである。また、リファレンスカメラ２_１〜２_６とは、マスターカメラ２_Ｍに追従するように自動制御されるロボットカメラのことである。

多視点ロボットカメラ２では、カメラマンがマスターカメラ２_Ｍを操作して、注視点を基準とした撮影領域を指定する。すると、多視点ロボットカメラ２は、指定された注視点に向けてリファレンスカメラ２_１〜２_６をパン・チルト制御すると共に、この撮影領域が収まる最小画角でリファレンスカメラ２_１〜２_６をズーム制御する。このようにして、多視点ロボットカメラ２は、被写体αの多視点画像を撮影する。

なお、注視点とは、３次元空間中の各点の中で、観察者Ｍに注視させたい被写体αの１点のことを言う。
また、多視点ロボットカメラ２の詳細は、下記の参考文献に記載されているため、これ以上の説明を省略する。
参考文献：池谷他、「多視点ロボットカメラを用いたインテグラル立体撮影技術」、映像情報メディア学会技術報告、２０１７年１１月３０日

３次元モデル生成装置３は、多視点ロボットカメラ２より入力された多視点画像から３次元モデルを生成するものである。
具体的には、３次元モデル生成装置３は、３次元モデルを生成する仮想空間にＩＰ立体像表示装置５の再現領域を設定する。次に、３次元モデル生成装置３は、ＩＰ立体像表示装置５の再現領域を奥行き方向に線形にサンプリングする位置を求める。次に、３次元モデル生成装置３は、非線形奥行き圧縮後に等間隔でサンプリングされる３次元モデルを生成するため、手前側が奥側よりも密となる非線形サンプリング位置を求める。そして、３次元モデル生成装置３は、求めた非線形サンプリング位置で奥行き推定を行い、その結果から３次元モデルを生成する。
その後、３次元モデル生成装置３は、生成した３次元モデルを、放送、通信、オフライン等の既知の手法により、立体像奥行き圧縮装置４に出力する。

立体像奥行き圧縮装置４は、３次元モデル生成装置３から入力された３次元モデルを非線形奥行き圧縮し、奥行きが圧縮された３次元モデルの要素画像（立体画像）を生成するものである。本実施形態では、立体像奥行き圧縮装置４は、予め設定した変換関数を用いて、観察者ＭとＩＰ立体像表示装置５との距離（視距離）に応じて、３次元モデルの奥行きを圧縮する。この非線形奥行き圧縮により、手前側が奥側よりも密にサンプリングされた３次元モデルが、所定解像度を満たす奥行き再現範囲内で、等間隔にサンプリングされた３次元モデルに変換される。そして、立体像奥行き圧縮装置４は、圧縮した３次元モデルから要素画像を生成し、生成した要素画像をＩＰ立体像表示装置５に出力する。
なお、立体像奥行き圧縮装置４の詳細は、特開２０１７−１１５２０号公報に記載されているため、これ以上の説明を省略する。

ＩＰ立体像表示装置５は、ＩＰ方式で立体像γを表示する一般的なＩＰ立体ディスプレイである。このＩＰ立体像表示装置５は、レンズアレイ及び表示素子で構成される画面５ａに、立体像奥行き圧縮装置４から入力された要素画像を表示することで、観察者Ｍに対して立体像γを提示する。

測距装置６は、ＩＰ立体像表示装置５から観察者Ｍまでの視距離を測定するものである。この測距装置６は、例えば、一般的な距離センサー等で構成することができる。また、測距装置６は、２台のステレオカメラで観察者Ｍを撮影したカメラ画像から、強膜反射法や角膜・瞳孔反射法で観察者Ｍの左右の角膜を検出し、三角測量の原理により視距離を測定してもよい。そして、測距装置６は、測定した視距離を立体像奥行き圧縮装置４に出力する。
なお、ＩＰ立体像表示システム１は、予め固定の値を視距離（例えば、画面高の３倍等、推奨の視距離）とする形態であってもよい。その場合、ＩＰ立体像表示システム１は、測距装置６を構成から省略してもよい。

このようにして、ＩＰ立体像表示システム１は、観察者Ｍの視距離に応じて、所定の解像度を満たした立体像γを表示することができる。このとき、ＩＰ立体像表示システム１は、顕著に観察者Ｍに認識される手前側も含め、等間隔でサンプリングされた３次元モデルの立体像γを表示するので、立体像γの品質を向上させることができる。

［３次元モデル生成装置の構成］
図２を参照し、３次元モデル生成装置３の構成について説明する。
図２に示すように、３次元モデル生成装置３は、パラメータ入力手段３０と、再現領域設定手段３１と、線形サンプリング位置算出手段３２と、非線形サンプリング位置算出手段３３と、３次元モデル生成手段３４とを備える。

パラメータ入力手段３０は、３次元モデルの生成に必要な各種パラメータを入力するものである。本実施形態では、パラメータ入力手段３０は、パラメータとして、多視点ロボットカメラ２から、マスターカメラ２_Ｍの姿勢及び画角と、デプスとを取得する。また、３次元モデル生成装置３のユーザが、図示を省略したマウス、キーボード等の操作手段を用いて、ＩＰ立体像表示装置５の奥行き方向再現範囲、画面サイズ及び飛び出し量をパラメータ入力手段３０に入力する。
その後、パラメータ入力手段３０は、入力された各種パラメータを再現領域設定手段３１に出力する。

＜パラメータの説明＞
図３を参照し、パラメータ入力手段３０に入力される各種パラメータについて説明する。
図３に示すように、マスターカメラ２_Ｍの姿勢は、カメラマンがマスターカメラ２_Ｍを操作して被写体αを撮影したときのパン・チルトを表す。また、マスターカメラ２_Ｍの画角θは、カメラマンがマスターカメラ２_Ｍを操作して被写体αを撮影したときの水平方向及び垂直方向の画角を表す。また、デプスｄは、マスターカメラ２_Ｍから注視点Ｐまでの距離を表す。
なお、図３では、Ｘ軸が水平方向を表し、Ｙ軸が垂直方向を表し、Ｚ軸が奥行き方向を表す。

ＩＰ立体像表示装置５の奥行き方向再現範囲は、ＩＰ立体像表示装置５が奥行き方向（Ｚ軸方向）で立体像γ（図１）を再現できる範囲を表す。図４に示すように、ＩＰ立体像表示装置５の奥行き方向再現範囲は、ＩＰ立体像表示装置５の画面５ａを中心とした、手前再現範囲（再現領域ＡＲの手前位置）ｚ´_ｒｎから奥再現範囲（再現領域ＡＲの奥側位置）ｚ´_ｒｆまでの間を表す。ＩＰ立体像表示装置５の画面サイズは、ＩＰ立体像表示装置５の画面５ａの幅及び高さを表す。ＩＰ立体像表示装置５の飛び出し量は、注視点ＰがＩＰ立体像表示装置５の画面５ａから奥行き方向に離れて表示される距離を表す。

図２に戻り、３次元モデル生成装置３の構成について、説明を続ける。
再現領域設定手段３１は、マスターカメラ２_Ｍの撮影領域に、ＩＰ立体像表示装置５の再現領域を設定し、ＩＰ立体像表示装置５の再現領域を３次元モデルが配置される仮想空間に設定するものである。ここで、マスターカメラ２_Ｍの撮影領域は、図３に破線で図示したように、マスターカメラ２_Ｍの姿勢及び画角θで表される、実空間上の領域である。また、ＩＰ立体像表示装置５の再現領域は、ＩＰ立体像表示装置５の奥行き方向再現範囲及び画面サイズで表される。図４の太線で囲われた領域が、ＩＰ立体像表示装置５の再現領域ＡＲである。

まず、再現領域設定手段３１は、デプスｄ、水平方向の画角θ、画面サイズ（画面幅Ｗ）及び飛び出し量Δが含まれる式（１）を用いて、縮尺比ｋを算出する。この縮尺比ｋは、仮想空間と実空間とのスケールの比を表す。具体的には、再現領域設定手段３１は、パラメータ入力手段３０から入力されたデプスｄ、画角θ、画面サイズＷ及び飛び出し量Δを式（１）に代入し、縮尺比ｋを算出する。

次に、再現領域設定手段３１は、ＩＰ立体像表示装置５の再現領域ＡＲを縮尺比ｋに応じたスケールでマスターカメラ２_Ｍの撮影領域（実空間）に設定する。このとき、実空間上の再現領域ＡＲは、図４に示すように、画面５ａにおける幅がｋＷとなり、実空間上の飛び出し量がｋΔとなる。また、奥行き方向再現範囲は、画面５ａを中心としてｋＤとなる。従って、再現領域ＡＲの手前再現範囲ｚ´_ｒｎ及び奥再現範囲ｚ´_ｒｆは、以下の式（２）で表すことができる。

次に、再現領域設定手段３１は、３次元モデルを生成する仮想空間のスケールを実空間と等しくし、実空間に規定したＩＰ立体像表示装置５の再現領域ＡＲを仮想空間に同一の位置及びスケールで設定する。
その後、再現領域設定手段３１は、ＩＰ立体像表示装置５の再現領域ＡＲ及び縮尺比ｋと、各種パラメータとを線形サンプリング位置算出手段３２に出力する。
なお、再現領域設定手段３１は、水平方向だけでなく、図５に示すように、垂直方向にもＩＰ立体像表示装置５の再現領域ＡＲを設定する。この図５では、θ_Ｈが垂直方向の画角を表し、Ｈが画面高さを表す。従って、ＩＰ立体像表示装置５の再現領域ＡＲは、図４及び図５では台形状となっているが、実際には四角錐台状の領域となる。

線形サンプリング位置算出手段３２は、再現領域設定手段３１が設定したＩＰ立体像表示装置５の再現領域ＡＲにおいて、等間隔の線形サンプリング位置を算出するものである。本実施形態では、線形サンプリング位置算出手段３２は、奥行き方向で奥再現範囲ｚ´_ｒｆを超えない範囲において、線形サンプリング位置を算出する。つまり、線形サンプリング位置算出手段３２は、図６に示すように、手前再現範囲ｚ´_ｒｎから奥再現範囲ｚ´_ｒｆの手前まで、奥行き方向で等間隔に線形サンプリング位置ｚ´_ｒを求める。ここで、線形サンプリング位置ｚ´_ｒの個数は、任意に定めることができる。図６の例では、奥再現範囲ｚ´_ｒｆを含めないので、線形サンプリング位置ｚ´_ｒが４個である。
その後、線形サンプリング位置算出手段３２は、算出した線形サンプリング位置ｚ´_ｒと、手前再現範囲ｚ´_ｒｎと、縮尺比ｋと、各種パラメータとを非線形サンプリング位置算出手段３３に出力する。

非線形サンプリング位置算出手段３３は、線形サンプリング位置算出手段３２より入力された線形サンプリング位置ｚ´_ｒから、ＩＰ立体像表示装置５の再現領域の手前側が奥側よりも密の非線形サンプリング位置を算出するものである。具体的には、非線形サンプリング位置算出手段３３は、以下の式（３）に、線形サンプリング位置ｚ´_ｒと、手前再現範囲ｚ´_ｒｎと、縮尺比ｋと、奥行き方向再現範囲Ｄとを代入し、非線形サンプリング位置ｚ_ｒを算出する。
その後、非線形サンプリング位置算出手段３３は、算出した非線形サンプリング位置ｚ_ｒ及び各種パラメータを３次元モデル生成手段３４に出力する。

３次元モデル生成手段３４は、多視点ロボットカメラ２から入力された多視点画像に対し、非線形サンプリング位置算出手段３３から入力された非線形サンプリング位置ｚ_ｒで奥行き推定を行い、３次元モデルを生成するものである。本実施形態では、３次元モデル生成手段３４は、ステレオマッチングを用いて、多視点画像から３次元モデルを生成する。

まず、３次元モデル生成手段３４は、多視点ロボットカメラ２に対し、既知のカメラキャリブレーションを施す。次に、３次元モデル生成手段３４は、奥行き推定の対象となる１台のロボットカメラ（以下、対象カメラ２_Ａ）と、他のロボットカメラ（以下、参照カメラ２_Ｂ）とを組み合わせて、カメラペアを６つ設定する。そして、３次元モデル生成手段３４は、それぞれのカメラペアのステレオマッチングによって、以下の式（４）に示すように、正規化相互相関（ＺＮＣＣ）に基づいたコストＣを算出し、奥行き推定を行う。

なお、ｍはカメラペア番号、ｐは処理対象の画素、ｌは奥行き値のラベル、ｍｉｎは最小値を返す関数、Ｒ（ｐ）は画素ｐを中心としたブロック内の画素集合、ｉ，ｊはブロック内の画素のインデックス、Ｉは対象カメラ２_Ａが撮影した視点映像の画素値、Ｉ￣は画素値Ｉの平均値、Ｉ´は参照カメラ２_Ｂが撮影した視点映像の画素値、Ｉ´￣は画素値Ｉ´の平均値、ｄ（ｌ）は奥行き値のラベルに対応した視差値、Ｔ_Ｄは予め設定した閾値を表す。
また、式（４）では、非線形サンプリング位置算出手段３３から入力された非線形サンプリング位置ｚ_ｒが、ｄ（ｌ）に反映される。すなわち、式（４）のｄ（ｌ）が、非線形サンプリング位置ｚ_ｒでサンプリングされた視差値を表す。

そして、３次元モデル生成手段３４は、全てのカメラペアのコストＣを統合（平均）し、コストボリュームフィルタリング（Cost Volume Filtering）を適用し、統合したコストが最小となる奥行き値を各画素に割り当てる。さらに、３次元モデル生成手段３４は、割り当てた奥行き値に基づいて、視点画像の全画素を仮想空間に投影し、３次元点群モデル（３次元モデル）を生成する。

その後、３次元モデル生成手段３４は、生成した３次元モデルを立体像奥行き圧縮装置４に出力する。
なお、多視点画像から３次元モデルを生成する手法は、前記した参考文献に記載されているため、これ以上の説明を省略する。

ここで、図７（ａ）の被写体αを多視点ロボットカメラ２で撮影し、ＩＰ立体像表示装置５が表示する３次元モデルβを生成する場合を考える。図７（ｂ）に示すように、３次元モデル生成手段３４は、手前側が奥側よりも密にサンプリングされた３次元モデルβを生成する。そして、立体像奥行き圧縮装置４は、手前が疎、奥が密となるように非線形奥行き圧縮を行うので、図７（ｃ）に示すように、等間隔にサンプリングされた３次元モデルβを生成できる。

［ＩＰ立体像表示システムの動作］
図８を参照し、ＩＰ立体像表示システム１の動作について説明する（適宜図２参照）。
ここで、多視点ロボットカメラ２が多視点画像を撮影し、パラメータが３次元モデル生成装置３に入力されていることとする。

図８に示すように、再現領域設定手段３１は、仮想空間にＩＰ立体像表示装置５の再現領域ＡＲを設定する（ステップＳ１）。
線形サンプリング位置算出手段３２は、ステップＳ１で設定したＩＰ立体像表示装置５の再現領域ＡＲにおいて、奥行き方向で等間隔の線形サンプリング位置ｚ´_ｒを算出する（ステップＳ２）。

非線形サンプリング位置算出手段３３は、ステップＳ２で算出した線形サンプリング位置ｚ´_ｒから、ＩＰ立体像表示装置５の再現領域ＡＲの手前側が奥側よりも密の非線形サンプリング位置ｚ_ｒを算出する（ステップＳ３）。
３次元モデル生成手段３４は、多視点ロボットカメラ２が撮影した多視点画像に対し、ステップＳ３で算出した非線形サンプリング位置ｚ_ｒで奥行き推定を行い（ステップＳ４）、３次元モデルβを生成する（ステップＳ５）。この３次元モデルβは、手前側が奥側よりも密となるように、非線形でサンプリングされている。

立体像奥行き圧縮装置４は、ステップＳ５で生成した３次元モデルβを非線形奥行き圧縮し（ステップＳ６）、等間隔でサンプリングされた３次元モデルから要素画像を生成する。
ＩＰ立体像表示装置５は、立体像奥行き圧縮装置４が生成した要素画像を表示する。

［作用・効果］
以上のように、本発明の実施形態に係る３次元モデル生成装置３は、非線形奥行き圧縮前、手前側が奥側よりも密にサンプリングされた３次元モデルβを生成する（図７（ｂ））。そして、立体像奥行き圧縮装置４は、非線形奥行き圧縮により、観察者に認識されやすい手前側から等間隔でサンプリングされた３次元モデルβを生成し（図７（ｃ））、この３次元モデルβから要素画像を生成する。従って、ＩＰ立体像表示装置５は、高品質な立体像γを表示することができる。

（変形例）
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、多視点カメラが正六角形状に配置された７台のロボットカメラであることとして説明したが、多視点カメラの台数及び配置はこれに制限されない。例えば、多視点カメラは、一般的なステレオカメラであってもよい。

前記した実施形態では、ステレオマッチングにより３次元モデルを生成することとして説明したが、３次元モデルの生成手法は、これに限定されない。
前記した実施形態では、変換関数により非線形奥行き圧縮を行うこととして説明したが、非線形奥行き圧縮の手法は、これに限定されない。

前記した実施形態では、３次元モデル生成装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した３次元モデル生成装置として協調動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

１ ＩＰ立体像表示システム
２ 多視点ロボットカメラ（多視点カメラ）
２_Ｍ マスターカメラ（基準カメラ）
２_１〜２_６ リファレンスカメラ
３ ３次元モデル生成装置
４ 立体像奥行き圧縮装置
５ ＩＰ立体像表示装置
６ 測距装置
３０ パラメータ入力手段
３１ 再現領域設定手段
３２ 線形サンプリング位置算出手段
３３ 非線形サンプリング位置算出手段
３４ ３次元モデル生成手段
ＡＲ 再現領域
Ｍ 観察者
Ｐ 注視点
α 被写体
β ３次元モデル
γ 立体像

Claims (5)

1. 非線形奥行き圧縮された被写体の３次元モデルをＩＰ立体像表示装置で立体表示するために、前記３次元モデルを生成する３次元モデル生成装置であって、
   前記被写体を撮影する多視点カメラのうち予め定めた１台の基準カメラの姿勢及び画角と、前記ＩＰ立体像表示装置の奥行き方向再現範囲及び画面サイズとがパラメータとして入力されるパラメータ入力手段と、
   前記姿勢及び前記画角で表される基準カメラの撮影領域に、前記奥行き方向再現範囲及び前記画面サイズで表される前記ＩＰ立体像表示装置の再現領域を設定し、当該再現領域を前記３次元モデルが配置される仮想空間に設定する再現領域設定手段と、
   前記仮想空間に設定された再現領域において、奥行き方向で等間隔の線形サンプリング位置を算出する線形サンプリング位置算出手段と、
   前記線形サンプリング位置から、前記再現領域の手前側が奥側よりも密の非線形サンプリング位置を算出する非線形サンプリング位置算出手段と、
   前記多視点カメラが前記被写体を撮影した多視点画像に対し、前記非線形サンプリング位置で奥行き推定を行い、前記３次元モデルを生成する３次元モデル生成手段と、
   を備えることを特徴とする３次元モデル生成装置。
2. 前記再現領域設定手段は、前記基準カメラから前記被写体までの距離を表すデプスｄ、前記画角θ、前記画面サイズＷ、及び、前記ＩＰ立体像表示装置の飛び出し量Δが含まれる式（１）を用いて、前記撮影領域と前記再現領域の縮尺比ｋを算出し、
   

   

   前記撮影領域に前記縮尺比ｋに応じた寸法の前記再現領域を設定することを特徴とする請求項１に記載の３次元モデル生成装置。
3. 前記非線形サンプリング位置算出手段は、前記奥行き方向再現範囲Ｄ、及び、前記再現領域の手前位置ｚ´_ｒｎが含まれる式（３）を用いて、前記非線形サンプリング位置ｚ_ｒを算出する
   

   

   ことを特徴とする請求項２に記載の３次元モデル生成装置。
4. コンピュータを、請求項１から請求項３の何れか一項に記載の３次元モデル生成装置として機能させるための３次元モデル生成プログラム。
5. 請求項１から請求項３の何れか一項に記載の３次元モデル生成装置と、
   前記３次元モデル生成装置が生成した３次元モデルを非線形奥行き圧縮し、奥行きが圧縮された前記３次元モデルの立体画像を生成する立体像奥行き圧縮装置と、
   前記立体像奥行き圧縮装置が生成した立体画像を立体表示するＩＰ立体像表示装置と、
   を備えることを特徴とするＩＰ立体像表示システム。

Images