JP2012039331A - 視差画像作成装置、視差画像作成方法、プログラム及び記憶媒体 - Google Patents

Abstract

【課題】意匠面において優れた立体視を実現するための視差画像を作成する。
【解決手段】制御部１１は、最初に、サンプリング点ｘ_ｓと、処理対象のカメラ位置（Ｃ_ｘｉ、Ｃ_ｚｉ）と、を通る視線直線２６ａを算出する。次に、制御部１１は、奥行き値Ｄ２同士の区間の中で視線直線２６ａが通る区間である通過区間３１ａを特定する。そして、制御部１１は、通過区間３１ａのいずれか１つを採用区間とし、採用区間の両端を示す第１奥行き値３２ａ及び第２奥行き値３３ａのうち小さい方の画素を採用画素とする。次に、制御部１１は、２次元画像２における採用画素の画素値を取得し、視差画像５における画素（ｘ_ｓ，ｙ_ｓ）の画素値として設定する。
【選択図】図１１

Description

本発明は、立体視を実現するための視差画像を作成する視差画像作成装置等に関するものである。

従来、視差画像を作成する手法としては、（１）３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ）画像を作成し、複数のカメラ位置を設定してレンダリングする手法、（２）２次元画像、及び奥行き情報を持つ画像（以下、「デプス画像」という。）を入力とし、２次元／３次元変換ソフトを用いる手法が存在する。

（１）の手法において利用されるソフトウエアは、一般に３次元ＣＧソフトと呼ばれる。３次元ＣＧソフトは、３次元オブジェクトのデータから光源や形状を考慮してカメラ位置から見える画像を計算し、合成する機能を有する。
（１）の手法の場合、３次元ＣＧ画像に奥行き情報が含まれている為、３次元ＣＧ画像から容易に視差画像を作成することが可能である。但し、カメラ位置の数が多い場合、レンダリング回数も多くなる為、多大な時間がかかる。

（２）の手法では、例えば、フォトレタッチソフトを用いてデプス画像を作成することができる。フォトレタッチソフトは、ビットマップ画像（ラスターイメージ）を編集する機能を有する。
また、２次元／３次元変換ソフトは、２次元画像から３次元画像に変換する機能を有する。特許文献１には、２次元画像から３次元画像に変換するための具体的な処理の一例が開示されている。

特開２０００−９２５１６号公報

しかしながら、特許文献１も含めて、（２）の手法における従来技術では、被写体の輪郭部分が忠実に再現できない、飛び出し感や奥行き感が乏しいなど、意匠面での課題が十分に解決されていない。

本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、意匠面において優れた立体視を実現するための視差画像を作成することができる視差画像作成装置等を提供することである。

前述した目的を達成するために第１の発明は、立体視を実現するための視差画像を作成する視差画像作成装置であって、所望の２次元画像、及び、前記２次元画像に係るカメラから被写体までの距離である第１距離を画素値に置き換えた画像であるデプス画像を入力する画像入力手段と、奥行き倍率、カメラ数、カメラ間隔、及び、カメラからスクリーン面までの距離である第２距離に係るパラメータを入力するパラメータ入力手段と、前記奥行き倍率に基づいて前記デプス画像の画素値を所定の変換式によって変換し、前記２次元画像の各画素の奥行き値を算出する奥行き値算出手段と、スクリーン面のサンプリング点と、前記カメラ数、前記カメラ間隔及び前記第２距離に基づいて設定されるカメラ位置と、を通る視線直線を算出し、前記奥行き値同士の区間の中で前記視線直線が通る区間である通過区間のいずれか１つを採用区間とし、前記採用区間の両端を示す第１奥行き値及び第２奥行き値のうち小さい方の画素を採用画素とし、前記２次元画像における前記採用画素の画素値を前記サンプリング点の画素値とする画素値算出手段と、を具備することを特徴とする視差画像作成装置である。
第１の発明によって、意匠面において優れた立体視を実現するための視差画像を作成することができる。特に、被写体の輪郭部分において、背景のつぶれがなく、ギザギザ感もなくなるので、被写体の輪郭部分が忠実に再現された視差画像を生成することができる。

第１の発明における前記画素値算出手段は、前記通過区間が複数存在する場合には、最もカメラに近いものを前記採用区間とすることが望ましい。
これによって、複数の被写体の配置関係が忠実に再現された視差画像を生成することができる。

第１の発明は、前記サンプリング点の左端点、及び、最も右側に位置するカメラのカメラ位置を通る左端点決定直線を算出し、前記奥行き値算出手段によって算出された奥行き値の中でカメラから最も遠い位置であり、かつ、スクリーン面と平行な面である最遠面と、前記左端点決定直線との交点をはみ出し左端点とし、前記はみ出し左端点と前記サンプリング点の左端点との差分を左側はみ出し距離とし、前記サンプリング点の右端点、及び、最も左側に位置するカメラのカメラ位置を通る右端点決定直線を算出し、前記最遠面と、前記右端点決定直線との交点をはみ出し右端点とし、前記はみ出し右端点と前記サンプリング点の右端点との差分を右側はみ出し距離とし、前記左側はみ出し距離及び前記右側はみ出し距離のうち大きい方をはみ出し補正値とし、前記はみ出し補正値に基づいて、前記奥行き値の画素位置をスケール変換するはみ出し範囲補正手段、を更に具備することが望ましい。
これによって、最遠面がスクリーン面よりもカメラから遠い場合も、視差画像の意匠に影響を与えることなく奥行き値を取得することができ、飛び出し感や奥行き感に富んだ視差画像を生成することができる。

第２の発明は、立体視を実現するための視差画像を作成する視差画像作成方法であって、所望の２次元画像、及び、前記２次元画像に係るカメラから被写体までの距離である第１距離を画素値に置き換えた画像であるデプス画像を入力する画像入力ステップと、奥行き倍率、カメラ数、カメラ間隔、及び、カメラからスクリーン面までの距離である第２距離に係るパラメータを入力するパラメータ入力ステップと、前記奥行き倍率に基づいて前記デプス画像の画素値を所定の変換式によって変換し、前記２次元画像の各画素の奥行き値を算出する奥行き値算出ステップと、スクリーン面のサンプリング点と、前記カメラ数、前記カメラ間隔及び前記第２距離に基づいて設定されるカメラ位置と、を通る視線直線を算出し、前記奥行き値同士の区間の中で前記視線直線が通る区間である通過区間のいずれか１つを採用区間とし、前記採用区間の両端を示す第１奥行き値及び第２奥行き値のうち小さい方の画素を採用画素とし、前記２次元画像における前記採用画素の画素値を前記サンプリング点の画素値とする画素値算出ステップと、を含むことを特徴とする視差画像作成方法である。
第２の発明によって、意匠面において優れた立体視を実現するための視差画像を作成することができる。特に、被写体の輪郭部分において、背景のつぶれがなく、ギザギザ感もなくなるので、被写体の輪郭部分が忠実に再現された視差画像を生成することができる。

第３の発明は、コンピュータを、所望の２次元画像、及び、前記２次元画像に係るカメラから被写体までの距離である第１距離を画素値に置き換えた画像であるデプス画像を入力する画像入力手段と、奥行き倍率、カメラ数、カメラ間隔、及び、カメラからスクリーン面までの距離である第２距離に係るパラメータを入力するパラメータ入力手段と、前記奥行き倍率に基づいて前記デプス画像の画素値を所定の変換式によって変換し、前記２次元画像の各画素の奥行き値を算出する奥行き値算出手段と、スクリーン面のサンプリング点と、前記カメラ数、前記カメラ間隔及び前記第２距離に基づいて設定されるカメラ位置と、を通る視線直線を算出し、前記奥行き値同士の区間の中で前記視線直線が通る区間である通過区間のいずれか１つを採用区間とし、前記採用区間の両端を示す第１奥行き値及び第２奥行き値のうち小さい方の画素を採用画素とし、前記２次元画像における前記採用画素の画素値を前記サンプリング点の画素値とする画素値算出手段と、して機能させるためのプログラムである。
第３の発明に係るプログラムをコンピュータにインストールすることで、第１の発明に係る視差画像作成装置を得ることができる。

第４の発明は、第３の発明に係るプログラムを記憶したコンピュータ読み取り可能な記憶媒体である。

本発明により、意匠面において優れた立体視を実現するための視差画像を作成することができる視差画像作成装置等を提供することができる。

視差画像生成装置１のハードウエア構成図 視差画像生成装置１の入出力データを示す図 パラメータ４を説明する図 奥行き倍率αを説明する図 奥行き倍率αを説明する図 はみ出し範囲を説明する図 はみ出し範囲を説明する図 視差画像生成処理の詳細を示すフローチャート はみ出し範囲補正処理を説明する図 はみ出し範囲補正処理を説明する図 画素値算出処理を説明する図 画素値算出処理を説明する図 ２次元画像２の一例を示す図 デプス画像３の一例を示す図 カメラＣ_１に係る視差画像５の一例を示す図 カメラＣ_８に係る視差画像５の一例を示す図

以下図面に基づいて、本発明の実施形態を詳細に説明する。
図１は、視差画像生成装置１のハードウエア構成図である。尚、図１のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
視差画像生成装置１は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。

制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成される。
ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、視差画像生成装置１が行う後述する処理を実現する。
ＲＯＭは、不揮発性メモリであり、コンピュータ１のブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。
ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。

記憶部１２は、ＨＤＤ（ハードディスクドライブ）であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳ（オペレーティングシステム）に相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。
これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。

メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。
通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータ１とネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他の装置間との通信制御を行う。ネットワークは、有線、無線を問わない。

入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。
入力部１５を介して、視差画像生成装置１に対して、操作指示、動作指示、データ入力等を行うことができる。
表示部１６は、ＣＲＴモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータ１のビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。

周辺機器Ｉ／Ｆ（インタフェース）部１７は、視差画像生成装置１に周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータ１は周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。
バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。

図２は、視差画像生成装置１の入出力データを示す図である。図２に示すように、視差画像生成装置１は、２次元画像２およびデプス画像３、並びにパラメータ４を入力する。また、視差画像生成装置１は、視差画像５を出力する。
２次元画像２およびデプス画像３は、視差画像生成装置１の制御部１１が生成しても良いし、メディア入出力部１３、通信制御部１４等を介して外部から取得しても良い。また、パラメータ４は、視差画像生成装置１の入力部１５を介して入力しても良いし、予めパラメータ４が定義されたパラメータファイルを外部から取得しても良い。
視差画像５は、視差画像生成装置１の記憶部１２に記憶されても良いし、表示部１６に表示されても良いし、メディア入出力部１３、通信制御部１４等を介して外部に出力しても良い。

２次元画像２は、静止画像、または動画像の１枚分のフレーム画像である。２次元画像２は、デジタルカメラなどによって撮影されたものでも良いし、フォトレタッチソフトなどの機能を用いて編集されたものでも良いし、ペイントソフトやドローソフトなどの機能を用いて作成されたものであっても良い。

デプス画像３は、２次元画像２に係るカメラから被写体までの距離（第１距離）を画素値に置き換えた画像である。ここで、カメラとは、視差画像生成装置１の内部処理において定義される仮想的なカメラを意味する。また、被写体とは、２次元画像２に表現された人物、物体、風景などを意味する。
デプス画像３は、例えば、画素値の範囲が０〜２５５であり、０が最も奥、２５５が最も手前を意味する場合が多いが、逆であっても良い。以下では、説明を分かり易くするために、デプス画像３は、画素値の範囲が０〜２５５であり、０が最も奥、２５５が最も手前を意味するものとする。

パラメータ４は、後述する視差画像生成処理に用いる値である。パラメータ４には、奥行き倍率α、カメラ数ｎ、カメラ間隔、スクリーン面からカメラまでの距離（第２距離）などが含まれる。
更に、パラメータ４には、２次元画像２の横幅、縦幅、画素ピッチなどが含まれる。２次元画像２は、パラメータ４の横幅、縦幅、画素ピッチによって、横方向（Ｘ軸方向）のピクセル数、及び、縦方向（Ｙ軸方向）のピクセル数が決まる。
パラメータ４の詳細は後述する。

視差画像５は、立体視を実現するための画像である。本発明の実施の形態では、視差画像５は、特に、両目視差（約６０ｍｍ〜７０ｍｍ程度）を利用し、裸眼観察によって立体視を実現するための画像である。
尚、本発明の実施の形態では詳細に述べないが、複数の視差画像５をディスプレイの仕様に合わせて合成し、ディスプレイに表示することによって、裸眼観察による立体視を実現することが可能となる。複数の視差画像５の合成処理については、公知の技術を利用すれば良い。

以下では、図３〜図７を参照しながら、パラメータ４について説明する。図３は、パラメータ４を説明する図である。
視差画像生成処理では、図４に示すように、仮想的な３次元空間（ＸＹＺ空間）に、スクリーン面Ｓ、カメラＣ_１〜Ｃ_８を配置する。

スクリーン面Ｓは、２次元画像２を投影する領域であり、視差画像５の各画素が含まれる。図３に示す例では、スクリーン面ＳはＸＹ平面と一致する。

カメラＣ_１〜Ｃ_８は、パラメータ４のカメラ数ｎ、カメラ間隔、スクリーン面Ｓからカメラまでの距離（第２距離）に基づいて配置する。図３に示す例では、カメラ数ｎが「８」、カメラ間隔が「等間隔のＣ_{ｃａｍｅｒａ＿ｘ}」、第２距離が「Ｃ_{ｃａｍｅｒａ＿Ｚ}」である。Ｃ_{ｃａｍｅｒａ＿ｘ}は、両目視差（約６０ｍｍ〜７０ｍｍ程度）とする。
また、図３に示す例では、カメラ設置線２２は、スクリーン面Ｓと平行、かつ、スクリーン面Ｓとの距離が「Ｃ_{ｃａｍｅｒａ＿Ｚ}」の直線である。Ｃ_ｉをカメラＩＤ（Ｃ_ｉ＝１、・・・、８）とすると、カメラＣ_１〜Ｃ_８のカメラ位置（Ｃ_ｘｉ、Ｃ_ｚｉ）（ｉ＝１、・・・、８）は、以下の式に基づいて算出する。

図３に示す例では、カメラ間隔を等間隔としたが、これはディスプレイにおける画像の見せ方に依存する。カメラ間隔を等間隔とした場合、観察者がどの位置から見ても隣り合う視差画像５が見えるようになる。但し、他の見せ方を所望する場合には、カメラ間隔は等間隔でなくても良い。
また、図３に示す例では、カメラ設置線２２を直線としたが、これもディスプレイにおける画像の見せ方に依存する。例えば、ディスプレイが曲面の場合、カメラ設置線２２を曲線とすることが考えられる。

パラメータ４の奥行き倍率αは、視差画像５に表現される被写体の飛び出し感、奥行き感を調整するための値である。奥行き倍率αについては、図４、図５を参照しながら後述する。
図３に示す最遠面Ｐは、視差画像５に表現される被写体の中でカメラＣから最も遠い位置であり、かつ、スクリーン面Ｓと平行な面であり、パラメータ４の奥行き倍率αによって位置が定まる。

図４、図５は、奥行き倍率αを説明する図である。
以下では、奥行き倍率αは、値が大きい程、ディスプレイに表示されたときの飛び出し感、奥行き感が大きくなるものとする。デプス画像３の画素値をＤ１、奥行き値をＤ２とすると、視差画像生成装置１の制御部１１は、例として、次式によって奥行き値Ｄ２を算出する。尚、次式ではＤ１から１２７を減算しているが、この値はＤ１で取り得る値の範囲内であれば、どのような値でも良い。

図４に示す例は、任意のＹ座標におけるデプス画像３の画素値Ｄ１の分布を示している。前述の通り、デプス画像３は、画素値の範囲が０〜２５５であり、０が最も奥、すなわちカメラＣから最も遠く、２５５が最も手前、すなわちカメラＣから最も近い。
図４に示す例では、中心部がカメラＣから最も近く、両端部に近づくにつれてカメラＣから遠くなり、両端部がカメラＣからも最も遠い。

図５に示す例は、図４に示す例に対して、式（３）により変換された奥行き値Ｄ２の分布を示している。図５に示す例は、奥行き倍率αが「２．０」の場合を示している。この場合、Ｄ１の画素値「０」がＤ２の画素値「−２５４」に変換され、Ｄ１の画素値「２５５」がＤ２の画素値「２５６」に変換される。これによって、カメラから最も遠い位置と最も近い位置との差が２倍程度大きくなることから、視差画像生成装置１の制御部１１が、図５に示す奥行き値Ｄ２の分布に基づいて後述する視差画像生成処理を実行することで、飛び出し感、奥行き感の大きい立体視を表現するための視差画像５を生成することができる。

尚、奥行き倍率αの取り得る範囲は、０＜α＜α_ｍａｘである。α_ｍａｘは、カメラＣの位置に依存する。図５に示す例であれば、α_ｍａｘは、奥行き値Ｄ２の最大値が、カメラＣからスクリーン面Ｓまでの距離（第２距離）に等しくなる値である。

前述した最遠面Ｐは、パラメータ４の奥行き倍率αに基づいて、デプス画像３の画素値が所定の変換式によって変換された値（奥行き値）の中でカメラから最も遠い位置であり、かつ、スクリーン面Ｓと平行な面ということになる。

図６、図７は、はみ出し範囲を説明する図である。図６が図４に対応し、図７が図５に対応している。
図６に示すように、２次元画像２に対する仮想的なカメラＣの視野角θは、スクリーン面Ｓにおいて、カメラＣの視野範囲の両端が２次元画像２の横幅ｗの両端に一致するように定まる。
図５の例のように、奥行き倍率αが１よりも大きい場合、最遠面Ｐがスクリーン面ＳよりもカメラＣから遠い位置になる。そうすると、図７に示すように、視野角θに基づくカメラＣの視野範囲は、最遠面Ｐにおいて、２次元画像２の横幅ｗをはみ出すことになる。すなわち、図７に示すように、はみ出し範囲６ａ、６ｂが存在することになる。ここで、はみ出し範囲６ａ、６ｂでは、奥行き値Ｄ２が取得できず、視差画像５を生成することができないという問題が生じる。そこで、本発明の実施の形態では、後述するはみ出し範囲補正処理を実行する。

以下では、図８〜図１２を参照しながら、視差画像生成装置１の処理の詳細について説明する。
図８は、視差画像生成処理の詳細を示すフローチャートである。
視差画像生成装置１の制御部１１は、処理対象とするＸＺ平面を特定するために、スクリーン面Ｓにおけるｙ座標を決定する（Ｓ１０１）。以下、Ｓ１０１にて決定されたｙ座標をｙ_ｓとする。視差画像生成装置１は、ｙ_ｓごとにＳ１０２〜Ｓ１０７の処理を繰り返す。

次に、制御部１１は、パラメータ４の奥行き倍率αに基づいて、奥行き値Ｄ２を算出する（Ｓ１０２）。制御部１１は、デプス画像３に対して、Ｓ１０１において決定したｙ_ｓの画素をＸ軸方向に走査し、式（３）によってデプス画像３の画素値Ｄ１を奥行き値Ｄ２に変換する。Ｓ１０２の処理の結果、２次元画像２の横ピクセル数分の奥行き値Ｄ２が算出されることになる。

次に、制御部１１は、はみ出し範囲補正処理を実行する（Ｓ１０３）。はみ出し範囲補正処理は、前述の図７に示すはみ出し範囲６ａ、６ｂにおいて、奥行き値Ｄ２が取得できないという問題を解決するための処理である。

図９、図１０は、はみ出し範囲補正処理を説明する図である。
図９は、補正値βの算出方法を説明するための図である。以下、スクリーン面Ｓにおける処理対象の画素をサンプリング点と記載する。サンプリング点のｘ座標は、パラメータ４の横幅、画素ピッチに基づいて定まる。

制御部１１は、スクリーン面Ｓ上のサンプリング点の左端点Ｘ_０（原点Ｏ）、及び、最も右側に位置するカメラＣ_８のカメラ位置（Ｃ_ｘ８、Ｃ_ｚ８）を通る左端点決定直線Ｌ１を算出する。次に、制御部１１は、最遠面Ｐと左端点決定直線Ｌ１との交点をはみ出し左端点Ｘ_ｌｅｆｔとする。次に、制御部１１は、はみ出し左端点Ｘ_ｌｅｆｔのｘ座標とサンプリング点の左端点Ｘ_０のｘ座標との差分Ａを左側はみ出し距離とする。
また、制御部１１は、サンプリング点の右端点Ｘ_{ｗｉｄｔｈ−１}、及び、最も左側に位置するカメラＣ_１のカメラ位置（Ｃ_ｘ１、Ｃ_ｚ１）を通る右端点決定直線Ｌ２を算出する。次に、制御部１１は、最遠面Ｐと右端点決定直線Ｌ２との交点をはみ出し右端点Ｘ_{ｒｉｇｈｔ}とする。次に、制御部１１は、はみ出し右端点Ｘ_{ｒｉｇｈｔ}のｘ座標とサンプリング点の右端点Ｘ_{ｗｉｄｔｈ−１}のｘ座標との差分Ｂを右側はみ出し距離とする。
そして、制御部１１は、左側はみ出し距離（＝差分Ａ）及び右側はみ出し距離（＝差分Ｂ）のうち大きい方をはみ出し補正値βとする。

図１０は、奥行き値Ｄ２の画素位置（ｘ座標）のスケール変換方法を説明するための図である。図１０では、各奥行き値Ｄ２のスクリーン面Ｓにおける画素位置をｘ座標、奥行き値自体をｚ座標とし、各奥行き値Ｄ２を黒丸によって図示している。
制御部１１は、はみ出し補正値βに基づいて、奥行き値Ｄ２の画素位置（ｘ座標）をスケール変換する。具体的には、制御部１１は、スケール変換前のｘｘ座標をｘ１、スケール変換後のｘ座標をｘ２とすると、次式に従って、スケール変換する。

図１０の例では、変換前奥行き分布曲線２４が、スケール変換前の奥行き値Ｄ２の分布を示している。また、奥行き分布曲線２５が、スケール変換後の奥行き値Ｄ２の分布を示している。黒丸の点は、それぞれ奥行き値Ｄ２を示している。尚、奥行き値Ｄ２は、ピクセルごとに定義される離散的な値であり、変換前奥行き分布曲線２４及び奥行き分布曲線２５は、説明の便宜のために図示した仮想的な曲線である。

図１０に示すように、スケール変換前の奥行き値Ｄ２の両端は、２次元画像２の横幅ｗの両端と一致する。
一方、スケール変換後の奥行き値Ｄ２の両端は、２次元画像２の横幅ｗよりも差分Ａだけ外側に位置している。尚、図１０の例では、図９において差分Ｂよりも差分Ａの方が大きく、差分Ａがはみ出し補正値βとして採用されたものとしている。

このようにスケール変換することで、視差画像５の意匠に影響を与えることなく、図７のはみ出し範囲６ａ、６ｂにおいても、奥行き値Ｄ２が取得できることになる。そして、ひいては、飛び出し感や奥行き感に富んだ視差画像５を生成することができる。

図８の説明に戻る。
制御部１１は、スクリーン面Ｓにおける処理対象の画素、すなわちサンプリング点を決定する（Ｓ１０４）。但し、サンプリング点のｙ座標は、Ｓ１０１において決定されたｙ_ｓである。
次に、制御部１１は、Ｓ１０４において決定されたサンプリング点に対して、視差画像５の画素値算出処理を行う（Ｓ１０５）。

図１１、図１２は、画素値算出処理を説明する図である。図１１、図１２では、各奥行き値Ｄ２のスクリーン面Ｓにおける画素位置をｘ座標、奥行き値自体をｚ座標とし、各奥行き値Ｄ２を黒丸によって図示している。
制御部１１は、最初に、サンプリング点のｘ座標ｘ_ｓと、処理対象のカメラ位置（Ｃ_ｘｉ、Ｃ_ｚｉ）（ｉ＝１、・・・、ｎ）と、を通る視線直線２６ａを算出する。カメラ位置（Ｃ_ｘｉ、Ｃ_ｚｉ）は、前述した通り、パラメータ４のカメラ数ｎ、カメラ間隔Ｃ_{ｃａｍｅｒａ＿ｘ}及びカメラＣ_ｉからスクリーン面Ｓまでの距離（第２距離）Ｃ_{ｃａｍｅｒａ＿ｚ}に基づいて設定されている。図１１に示す例では、カメラＣ_３を処理対象としている。

次に、制御部１１は、奥行き値Ｄ２同士の区間の中で視線直線２６ａが通る区間である通過区間３１ａを特定する。そして、制御部１１は、通過区間３１ａのいずれか１つを採用区間とし、採用区間の両端を示す第１奥行き値３２ａ及び第２奥行き値３３ａのうち小さい方（ｚ座標の値が小さい方）の画素を採用画素とする。図１１に示す例では、第１奥行き値３２ａが採用画素となる。

採用区間が、被写体の輪郭部分に相当する場合、第１奥行き値３２ａ及び第２奥行き値３３ａのうち大きい方（ｚ座標の値が大きい方）の画素は、手前の被写体（一般には、人物や物体など）を表現する画素であり、小さい方の画素は奥の被写体（一般には、風景など）を表現する画素である。小さい方の画素、すなわち風景を表現する画素を常に採用画素とすることで、背景のつぶれがなく、被写体の輪郭部分のギザギザもなくなるので、被写体の輪郭部分が忠実に再現された視差画像５を生成することができる。

次に、制御部１１は、２次元画像２における採用画素（＝第１奥行き値３２ａ）の画素値（カラー画像であればＲＧＢ値）を取得し、視差画像５における画素（ｘ_ｓ，ｙ_ｓ）の画素値として設定する。
制御部１１は、以上の処理を全てのカメラＣ_１〜Ｃ_８に対して実行し、各視差画像５における画素（ｘ_ｓ，ｙ_ｓ）の画素値として設定する。

図１２では、複数の通過区間３１ｂ、３１ｃ、３１ｄが存在する例を示している。この場合、制御部１１は、最もカメラＣ_１〜Ｃ_８に近いものを採用区間とする。図１２に示す例では、通過区間３１ｂを採用区間とする。
そして、制御部１１は、採用区間の両端を示す第１奥行き値３２ｂ及び第２奥行き値３３ｂのうち小さい方（ｚ座標の値が小さい方）の画素を採用画素とする。図１２に示す例では、第２奥行き値３３ｂが採用画素となる。

複数の通過区間３１が存在する場合、最もカメラＣ_１〜Ｃ_８に近いものが、最も手前の被写体である。従って、最もカメラＣ_１〜Ｃ_８に近いものを採用区間とすることで、複数の被写体の配置関係が忠実に再現された視差画像５を生成することができる。

図８の説明に戻る。
制御部１１は、全サンプリング点（但し、ｙ座標はｙ_ｓのみ）について処理が終了したかどうか確認する（Ｓ１０６）。処理が終了していない場合（Ｓ１０６のＮｏ）、Ｓ１０４から処理を繰り返す。処理が終了している場合（Ｓ１０６のＹｅｓ）、Ｓ１０７に進む。

次に、制御部１１は、全てのｙ座標について処理が終了したかどうか確認する（Ｓ１０７）。処理が終了していない場合（Ｓ１０７のＮｏ）、Ｓ１０１から処理を繰り返す。処理が終了している場合（Ｓ１０７のＹｅｓ）、Ｓ１０８に進む。

次に、制御部１１は、Ｓ１０５において算出された画素値をカメラＣごとに纏めて、視差画像５として記憶部１２に保存する（Ｓ１０８）。カメラ数ｎが「８」の場合、制御部１１は、Ｓ１０５において算出された画素値をカメラＣ_１〜Ｃ_８ごとに纏めて、８枚の視差画像５として記憶部１２に記憶する。

以上、本発明の実施の形態に係る視差画像生成装置１は、意匠面において優れた立体視を実現するための視差画像５を作成することができる。

図１３は、２次元画像２の一例を示す図である。図１３に示す例では、２次元画像２は、静止画像であり、２４ビットＲＧＢのカラー画像である。但し、図１３は、特許図面の制約により、カラー画像をグレースケール画像に変換したものである。
図１４は、デプス画像３の一例を示す図である。図１４に示す例では、デプス画像３は、０〜２５５の階調を有するグレースケール画像である。デプス画像３は、図１３に示す２次元画像２をフォトレタッチソフトの機能によって口紅部分にマスクをかけて、口紅部分の画素値を、カメラから被写体までの距離（第１距離）に置き換えた画像である。

本実施例では、図１３に示す２次元画像２、図１４に示すデプス画像３を入力画像とし、カメラ数ｎを「８」、カメラ間隔を「等間隔」として、視差画像生成装置１によって８枚の視差画像５を生成した。

図１５は、カメラＣ_１に係る視差画像５の一例を示す図である。図１６は、カメラＣ_８に係る視差画像５の一例を示す図である。但し、図１５、図１６は、特許図面の制約により、カラー画像をグレースケール画像に変換したものである。
図１５と図１６に示す通り、視差画像生成装置１によって生成された視差画像５は、口紅の輪郭部分における背景のつぶれがなく、ギザギザ感もない。また、複数の口紅の配置関係が忠実に再現されている。すなわち、視差画像生成装置１によって生成された視差画像５を利用することによって、意匠面において優れた立体視を実現することが可能となる。
尚、一番手前の口紅の先端の位置を比較することで、カメラＣ_１のカメラ位置とカメラＣ_８のカメラ位置の違いが認識できる。

以上、添付図面を参照しながら、本発明に係る視差画像作成装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１………視差画像生成装置
２………２次元画像
３………デプス画像
４………パラメータ
５………視差画像

Claims (6)

1. 立体視を実現するための視差画像を作成する視差画像作成装置であって、
   所望の２次元画像、及び、前記２次元画像に係るカメラから被写体までの距離である第１距離を画素値に置き換えた画像であるデプス画像を入力する画像入力手段と、
   奥行き倍率、カメラ数、カメラ間隔、及び、カメラからスクリーン面までの距離である第２距離に係るパラメータを入力するパラメータ入力手段と、
   前記奥行き倍率に基づいて前記デプス画像の画素値を所定の変換式によって変換し、前記２次元画像の各画素の奥行き値を算出する奥行き値算出手段と、
   スクリーン面のサンプリング点と、前記カメラ数、前記カメラ間隔及び前記第２距離に基づいて設定されるカメラ位置と、を通る視線直線を算出し、前記奥行き値同士の区間の中で前記視線直線が通る区間である通過区間のいずれか１つを採用区間とし、前記採用区間の両端を示す第１奥行き値及び第２奥行き値のうち小さい方の画素を採用画素とし、前記２次元画像における前記採用画素の画素値を前記サンプリング点の画素値とする画素値算出手段と、
   を具備することを特徴とする視差画像作成装置。
2. 前記画素値算出手段は、前記通過区間が複数存在する場合には、最もカメラに近いものを前記採用区間とすることを特徴とする請求項１に記載の視差画像作成装置。
3. 前記サンプリング点の左端点、及び、最も右側に位置するカメラのカメラ位置を通る左端点決定直線を算出し、前記奥行き値算出手段によって算出された奥行き値の中でカメラから最も遠い位置であり、かつ、スクリーン面と平行な面である最遠面と、前記左端点決定直線との交点をはみ出し左端点とし、前記はみ出し左端点と前記サンプリング点の左端点との差分を左側はみ出し距離とし、
   前記サンプリング点の右端点、及び、最も左側に位置するカメラのカメラ位置を通る右端点決定直線を算出し、前記最遠面と、前記右端点決定直線との交点をはみ出し右端点とし、前記はみ出し右端点と前記サンプリング点の右端点との差分を右側はみ出し距離とし、
   前記左側はみ出し距離及び前記右側はみ出し距離のうち大きい方をはみ出し補正値とし、
   前記はみ出し補正値に基づいて、前記奥行き値の画素位置をスケール変換するはみ出し範囲補正手段、
   を更に具備することを特徴とする請求項１または請求項２に記載の視差画像作成装置。
4. 立体視を実現するための視差画像を作成する視差画像作成方法であって、
   所望の２次元画像、及び、前記２次元画像に係るカメラから被写体までの距離である第１距離を画素値に置き換えた画像であるデプス画像を入力する画像入力ステップと、
   奥行き倍率、カメラ数、カメラ間隔、及び、カメラからスクリーン面までの距離である第２距離に係るパラメータを入力するパラメータ入力ステップと、
   前記奥行き倍率に基づいて前記デプス画像の画素値を所定の変換式によって変換し、前記２次元画像の各画素の奥行き値を算出する奥行き値算出ステップと、
   スクリーン面のサンプリング点と、前記カメラ数、前記カメラ間隔及び前記第２距離に基づいて設定されるカメラ位置と、を通る視線直線を算出し、前記奥行き値同士の区間の中で前記視線直線が通る区間である通過区間のいずれか１つを採用区間とし、前記採用区間の両端を示す第１奥行き値及び第２奥行き値のうち小さい方の画素を採用画素とし、前記２次元画像における前記採用画素の画素値を前記サンプリング点の画素値とする画素値算出ステップと、
   を含むことを特徴とする視差画像作成方法。
5. コンピュータを、
   所望の２次元画像、及び、前記２次元画像に係るカメラから被写体までの距離である第１距離を画素値に置き換えた画像であるデプス画像を入力する画像入力手段と、
   奥行き倍率、カメラ数、カメラ間隔、及び、カメラからスクリーン面までの距離である第２距離に係るパラメータを入力するパラメータ入力手段と、
   前記奥行き倍率に基づいて前記デプス画像の画素値を所定の変換式によって変換し、前記２次元画像の各画素の奥行き値を算出する奥行き値算出手段と、
   スクリーン面のサンプリング点と、前記カメラ数、前記カメラ間隔及び前記第２距離に基づいて設定されるカメラ位置と、を通る視線直線を算出し、前記奥行き値同士の区間の中で前記視線直線が通る区間である通過区間のいずれか１つを採用区間とし、前記採用区間の両端を示す第１奥行き値及び第２奥行き値のうち小さい方の画素を採用画素とし、前記２次元画像における前記採用画素の画素値を前記サンプリング点の画素値とする画素値算出手段と、
   して機能させるためのプログラム。
6. 請求項５に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。