JP5752638B2

JP5752638B2 - 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置

Info

Publication number: JP5752638B2
Application number: JP2012101820A
Authority: JP
Inventors: 徳裕中村; 快行爰島; 三田　雄志; 雄志三田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2012-04-26
Filing date: 2012-04-26
Publication date: 2015-07-22
Anticipated expiration: 2032-04-26
Also published as: JP2013229828A; US20130286016A1; US9202305B2

Description

本発明の実施形態は、画像処理装置、方法、及びプログラム、並びに、立体画像表示装置に関する。

近年、Ｘ線ＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置などの医用画像診断装置の分野では、３次元の医用画像のボリュームデータを生成可能な装置が実用化されている。また、ボリュームデータを任意の視点からレンダリングする技術が実用化されており、近年、ボリュームデータを立体画像表示装置で立体的に表示することが検討されている。

立体画像表示装置では、視聴者は特殊なメガネを使用せずに裸眼で立体画像を観察することができる。このような立体画像表示装置は、視点の異なる複数の画像（以下ではそれぞれの画像を視差画像と呼ぶ）を表示し、これらの視差画像の光線を、例えばパララックスバリア、レンチキュラレンズなどの光線制御素子によって制御する。この際、表示する画像は、光線制御素子を通して覗いた場合に、意図した方向で意図した画像が観察されるように並び替えられたものである必要がある。この並べ替え方法を、以下ではピクセルマッピングと呼び、従来、様々なピクセルマッピング方法が知られている。以上のように、光線制御素子とそれに合わせたピクセルマッピングによって制御された光線は、観察者の両眼に導かれ、観察者の観察位置が適切であれば、観察者は立体像を認識できる。このように観察者が立体像を観察可能な領域を視域という。

米国特許第６０６４４２４号明細書

Image Preparation for 3D-LCD

ここで、視差画像を生成する際の視点数は予め決められており、一般に表示パネルの全ての画素（ピクセル）の輝度情報を決定するのに十分ではない。そのため、予め決められた各視点に対応する視差画像が割り当てられないピクセル（視差画像から輝度情報が決定されないピクセル）については、最も近い視点の視差画像を用いた補間処理を行うことで、当該ピクセルの輝度情報を決定する必要がある。

しかしながら、この補間処理により、異なる視点の視差画像がブレンドされることで、本来１つであった画像のエッジ部分が２つ以上に重なって見える多重像が発生する、または、画像全体がぼけて見えるなどといった問題が起こる。

本発明が解決しようとする課題は、観察者が立体視可能な立体画像の画質を向上させることが可能な画像処理装置、方法、及びプログラム、並びに、立体画像表示装置を提供することである。

実施形態の画像処理装置は、複数のサブ画素を含む画素が配列された表示素子と、表示素子から射出される光線の射出方向を制御する光線制御素子と、を有する表示部に表示する立体画像を生成する画像処理装置であって、第１取得部と生成部とを備える。第１取得部は、立体画像を生成するための３次元データを取得する。生成部は、サブ画素ごとに、当該サブ画素から光線制御素子を介して射出される光線の射出方向と、３次元データとに基づいて、当該サブ画素の輝度値を算出し、立体画像を生成する。また、生成部は、サブ画素ごとに、射出方向が示す方向を３次元データが定義される座標系に応じて補正した方向に対応する視点位置を、当該サブ画素の視点位置として特定し、特定した当該サブ画素の視点位置と、当該サブ画素の位置と、３次元データとに基づいて、当該サブ画素の輝度値を算出する。

実施形態の画像表示システムの構成例を示す図。実施形態のボリュームデータの一例を説明するための図。実施形態の立体画像表示装置の構成例を示す図。パネルの中心を原点とした座標系の一例を示す図。第１実施形態の画像処理部の構成例を示す図。基準視点と光線番号との対応付けを説明するための図。パネル中心から３Ｄピクセル領域までのベクトルの一例を示す図。パネルをＸ軸方向から観察した場合の模式図。第１実施形態の立体画像表示装置の動作例を示すフローチャート。視差ベクトルから奥行きへの変換モデルを説明するための図。第２実施形態の画像処理部の構成例を示す図。パネルパラメータの例を示す図。パネルパラメータと視域との関係を説明するための図。第２実施形態の光線番号算出処理の一例を示すフローチャート。

以下、添付図面を参照しながら、本発明に係る画像処理装置、方法、及びプログラム、並びに、立体画像表示装置の実施の形態を詳細に説明する。

（第１実施形態）
図１は、本実施形態の画像表示システム１の構成例を示すブロック図である。図１に示すように、画像表示システム１は、医用画像診断装置１０と、画像保管装置２０と、立体画像表示装置３０とを備える。図１に例示する各装置は、通信網２を介して、直接的、又は間接的に通信可能な状態となっており、各装置は、医用画像等を相互に送受信することが可能である。通信網２の種類は任意であり、例えば各装置は、病院内に設置されたＬＡＮ（Local Area Network）を介して、相互に通信可能な形態であってもよい。また、例えば各装置は、インターネット等のネットワーク（クラウド）を介して、相互に通信可能な形態であってもよい。

画像表示システム１は、医用画像診断装置１０により生成された３次元の医用画像のボリュームデータから、観察者が立体視可能な画像である立体画像を生成する。画像表示システム１は、生成した立体画像を表示部に表示することで、病院内に勤務する医師や検査技師に立体視可能な医用画像を提供する。立体画像とは、観察者が立体視可能な画像である。以下、各装置を順に説明する。

医用画像診断装置１０は、３次元の医用画像のボリュームデータを生成可能な装置である。医用画像診断装置１０としては、例えば、Ｘ線診断装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置、ＰＥＴ（Positron Emission computed Tomography）装置、ＳＰＥＣＴ装置とＸ線ＣＴ装置とが一体化されたＳＰＥＣＴ−ＣＴ装置、ＰＥＴ装置とＸ線ＣＴ装置とが一体化されたＰＥＴ−ＣＴ装置、又はこれらの装置群等が挙げられる。

医用画像診断装置１０は、被検体を撮影することによりボリュームデータを生成する。例えば、医用画像診断装置１０は、被検体を撮影することにより投影データやＭＲ信号等のデータを収集し、収集したデータから、被検体の体軸方向に沿った複数（例えば３００〜５００枚）のスライス画像（断面画像）を再構成することで、ボリュームデータを生成する。つまり、図２に示すように、被検体の体軸方向に沿って撮影された複数のスライス画像が、ボリュームデータである。図２の例では、被検体の「脳」のボリュームデータが生成されている。なお、医用画像診断装置１０により撮影された被検体の投影データやＭＲ信号等自体をボリュームデータとしてもよい。また、医用画像診断装置１０により生成されたボリュームデータの中には、骨・血管・神経・腫瘍などといった、医療現場での観察対象となる物体の画像（以下、「オブジェクト」と呼ぶ）が含まれる。また、ボリュームデータの等値面を多角形のポリゴンや曲面などの幾何学的要素の集合で表現したデータを含んでもよい。

画像保管装置２０は、医用画像を保管するデータベースである。具体的には、画像保管装置２０は、医用画像診断装置１０から送信されたボリュームデータを格納し、これを保管する。

立体画像表示装置３０は、医用画像診断装置１０により生成されたボリュームデータの立体画像を生成し、これを表示する装置である。立体画像表示装置３０は、例えば、インテグラル・イメージング方式（ＩＩ方式）や多眼方式等の３Ｄディスプレイ方式を採用したものであってよい。立体画像表示装置３０の例としては、例えば視聴者が裸眼で立体画像を観察可能なＴＶ、ＰＣなどが挙げられる。

なお、以下では、立体画像表示装置３０は、医用画像診断装置１０により生成されたボリュームデータから立体画像を生成する例を挙げて説明するが、これに限らず、立体画像表示装置３０が生成する立体画像の元となる３次元データの種類は任意である。３次元データとは、立体物の形状を表現可能なデータであり、ボリュームデータなどの空間分割モデルや境界表現モデルなどが含まれ得る。空間分割モデルとは、例えば空間を格子状に分割し、分割した格子を用いて、立体物を表現するモデルを指す。境界表現モデルとは、例えば空間において立体物の占める領域の境界を表現することで、当該立体物を表現するモデルを指す。

図３は、立体画像表示装置３０の構成例を示すブロック図である。図３に示すように、立体画像表示装置３０は、画像処理部４０と表示部５０とを備える。例えば画像処理部４０と表示部５０とが、通信網（ネットワーク）を介して接続される形態であってもよい。画像処理部４０は、表示部５０に表示する立体画像を生成する。本実施形態では、画像処理部４０は、医用画像診断装置１０により生成されたボリュームデータの立体画像を生成する。画像処理部４０の詳細な内容については後述する。

図３に示すように、表示部５０は、表示素子５１と光線制御素子５２とを有する。観察者は、光線制御素子５２を介して表示素子５１を観察することで、表示部５０に表示される立体画像を観察する。例えば表示部５０を観察した場合に、観察者の左眼および右眼に対して異なる映像が入射されることにより、観察者は立体画像を認識することができる。

表示素子５１は立体画像を表示する。表示素子５１には、複数のサブ画素を含む画素が配列される。より具体的には、表示素子５１には、異なる色の複数のサブ画素（（例えば、Ｒ，Ｇ，Ｂ）が、Ｘ方向（行方向）とＹ方向（列方向）とに、マトリクス状に配列される。図３の例では、ひとつの画素はＲＧＢ各色のサブ画素から構成される。各サブ画素は、Ｘ方向にＲ（赤）、Ｇ（緑）、Ｂ（青）の順で繰り返し配列され、Ｙ方向に同一の色成分が配列される。表示素子５１には、直視型２次元ディスプレイ、例えば、有機ＥＬ（ＯｒｇａｎｉｃＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）やＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、ＰＤＰ（ＰｌａｓｍａＤｉｓｐｌａｙＰａｎｅｌ）、投射型ディスプレイなどを用いる。また、表示素子５１は、バックライトを備えた構成でもよい。以下では、表示素子５１をパネルと呼ぶ場合がある。

光線制御素子５２は、表示素子５１の各サブ画素から射出される光線の方向を制御する。光線制御素子５２は、直線状に延伸する光学的開口５３がＸ方向に複数配列されたものである。図３の例では、光線制御素子５２は、シリンドリカルレンズ（光線を射出するための光学的開口５３として機能）が複数配列されたレンチキュラーシートであるが、これに限らず、例えば光線制御素子５２は、スリットが複数配列されたパララックスバリアであってもよい。表示素子５１と光線制御素子５２とは、一定の距離（ギャップ）を有する。また、光線制御素子５２は、その光学的開口５３の延伸方向が表示素子５１のＹ方向（列方向）に対して、所定の傾きを有するように配置される。

なお、本実施形態では、図４に示すように、実空間上において、パネルの表示面（ディスプレイ面）の中心を原点とし、ディスプレイ面の水平方向にＸ軸、ディスプレイ面の鉛直方向にＹ軸、ディスプレイ面の法線方向にＺ軸を設定する。本実施形態では、高さ方向とはＹ軸方向を指す。ただし、実空間上における座標の設定方法はこれに限定されるものではない。

次に、画像処理部４０の詳細な内容を説明する。図５は、画像処理部４０の構成例を示
すブロック図である。図５に示すように、画像処理部４０は、第１取得部６０と、生成部７０と、出力部８０とを備える。

第１取得部６０は、画像保管装置２０にアクセスして、医用画像診断装置１０によって生成されたボリュームデータを取得する。ボリュームデータの中には、骨・血管・神経・腫瘍などの各臓器の位置を特定するための位置情報が含まれていてもよい。位置情報の形式は任意であり、例えば、臓器の種類を識別する識別情報と、臓器を構成するボクセル群とを対応付けて管理する形式でもよいし、ボリュームデータに含まれる各ボクセルに対して、当該ボクセルが属する臓器の種類を識別する識別情報を付加する形式でもよい。また、ボリュームデータの中には、各臓器をレンダリングする際の彩色や透過度に関する情報が含まれていてもよい。

なお、例えば画像保管装置２０が設けられずに、医用画像診断装置１０内に、生成したボリュームデータを格納するメモリが設けられていてもよい。この場合は、第１取得部６０は、医用画像診断装置１０にアクセスしてボリュームデータを取得する。要するに、第１取得部６０は、表示部５０に表示する立体画像を生成するための３次元データを取得する。

生成部７０は、サブ画素ごとに、当該サブ画素からの光が光線制御素子５２を介して射出される方向を示す光線番号と、第１取得部６０で取得されたボリュームデータとを用いて当該サブ画素の輝度値を算出することで、立体画像を生成する。図５に示すように、生成部７０は、第１算出部１０１と第２算出部１０２とを備える。

第１算出部１０１は、サブ画素ごとに、当該サブ画素の光線番号に基づいて、当該サブ画素に対応する視点位置を通る光線であって、当該サブ画素の輝度値の算出に用いられるレンダリング光線を特定可能な光線情報を算出する。ここで、各サブ画素の光線番号は、表示部５０が設計された段階で決定されるものである。基準視点数をＮとし、光学的開口５３の延伸方向に対してＸ軸を基準とした場合の水平幅Ｘｎ、垂直幅Ｙｎの領域を、Ｎ視点分の画素を含む要素画像が表示される領域（以下、立体画像の１画素を示す３Ｄピクセル領域と呼ぶ場合がある）として定義し、３Ｄピクセル領域の最もＸ軸の負の方向に存在する境界線に対応する位置から射出される光が飛ぶ方向を０とし、その境界線からＸｎ／Ｎだけ離れた位置から射出される光が飛ぶ方向を1というように順に定義した場合に、各サブ画素の光線番号は、当該サブ画素からの光が光学的開口５３を通して飛ぶ方向を表す番号として決定される。

本実施形態では、光学的開口５３として機能するレンズやバリアの水平幅とＸｎが一致するので、同じ光線番号を持つ光線は平行光線に限りなく近く、各３Ｄピクセル領域の同一の光線番号は同一の方向を差すことになる。この場合、同じ光線番号の光線は、パネルから無限遠の位置で集光すると考えることができる。

また、基準視点とは、レンダリングしたい空間（以下、「レンダリング空間」と呼ぶ）において一定の間隔で定義された複数の視点（コンピュータグラフィクスの分野ではカメラ）の位置を指す。基準視点と光線番号との対応付けの方法としては、例えばパネルと向かい合わせで考えた場合に、最も右に存在する基準視点から順に、小さい光線番号を対応付けることもできる。つまり、この場合、最も右に位置する基準視点に対して光線番号０が対応付けられ、その次に右側に位置する基準視点に対して光線番号１が対応付けられる。図６に示すように、第１算出部１０１は、基準視点を整数の光線番号と対応付ける。図６の例では、整数の光線番号によって特定される物理的な光線方向は、３次元データ（この例ではボリュームデータ）を定義する座標系（見方を変えればレンダリング空間のスケール）に応じて補正され、補正された光線方向に対応する基準視点が、当該光線番号に対応付けられていると捉えることもできる。なお、基準視点の間隔を大きくするほど視差が大きくなり、最終的な立体画像を表示した場合の飛び出し量（奥行き量）が大きくなる。つまり、基準視点の間隔を調整することで、従来と同様に飛び出し量を制御することが可能となる。

なお、本実施形態では、光学的開口５３として機能するレンズやバリアの水平幅とＸｎが一致する例を挙げて説明するが、これに限られるものではない。光学的開口５３として機能するレンズやバリアの水平幅とＸｎが一致していない場合、光線番号はその３Ｄピクセル領域内でのみの通し番号となり、異なる３Ｄピクセル領域の同じ番号は同一の方向を差さないが、同じ光線番号の光線を集めた場合、光線番号ごとに異なる点（集光点）で集まることになる。つまり、この場合の光線番号は、ある集光点で集まる光線単位では同じ値（番号）を示し、集光点ごとに異なる値を示すことになる。

以下、第１算出部１０１による光線情報の算出例を説明する。本実施形態では、各サブ画素の光線番号は予め決定されており、第１算出部１０１は、各サブ画素の光線番号を把握可能であることを前提とする。以下では、光線番号が「２．５」のサブ画素の光線情報を算出する例を挙げて説明するが、他のサブ画素の光線情報の算出方法も同様である。

まず第１算出部１０１は、光線情報の算出対象のサブ画素（以下では、「算出対象のサブ画素」と呼ぶ場合がある）の光線番号から、当該サブ画素に対応する視点位置を特定する。サブ画素の光線番号が整数の場合、第１算出部１０１は、その光線番号に対応付けられた基準視点を、当該サブ画素に対応する視点位置として特定する。一方、サブ画素の光線番号が小数値を持つ場合、第１算出部１０１は、近傍の基準視点から線形補間を行うことで、当該サブ画素に対応する視点位置を特定する。ここでは、算出対象のサブ画素の光線番号は２．５であるので、図６に示すように、第１算出部１０１は、光線番号２に対応する基準視点と光線番号３に対応する基準視点とを用いた線形補間を行うことで、光線番号２．５に対応する視点位置を特定することができる。以上のようにして特定した視点位置は、算出対象のサブ画素（この例では光線番号２．５のサブ画素）のレンダリング光線が通る位置（例えばレンダリング光線の始点位置であってもよい）となる。この例では、第１算出部１０１は、サブ画素ごとに、当該サブ画素の光線番号が示す方向（物理的な光線方向）を３次元データの座標系に応じて補正した方向に対応する視点位置を、当該サブ画素の視点位置として特定していると捉えることもできる。

次に、第１算出部１０１は、図７に示すような、パネル中心から、算出対象のサブ画素が含まれる３Ｄピクセル領域の左端までのベクトルＤｖ１＝（Ｄｘ１，Ｄｙ１）を求める。この場合の３Ｄピクセル領域の左端とは、算出対象のサブ画素のＹ座標と同じＹ座標における左端である。次に、第１算出部１０１は、算出対象のサブ画素が含まれる３Ｄピクセル領域の左端がレンダリング空間のどの位置にあるかを表すベクトルＤｖ２を求める。図６に示すＤｘ２は、ベクトルＤｖ２のｘ成分を示し、図８に示すＤｙ２は、ベクトルＤｖ２のｙ成分を示している。

ここでは、レンダリング空間の横幅にパネルのＸ軸方向の幅が対応し、レンダリング空間の高さにパネルのＹ軸方向の幅が対応し、レンダリング空間の原点（０，０，０）にパネルの中心が対応すると考える。第１算出部１０１は、Ｄｖ１のｘ成分（Ｄｘ１）をパネルのＸ軸方向の幅で正規化し、その正規化した値に、レンダリング空間の横幅を乗算することで、Ｄｖ２のｘ成分（Ｄｘ２）を求める。また、第１算出部１０１は、Ｄｖ１のｙ成分（Ｄｙ１）をパネルのＹ軸方向の幅で正規化し、その正規化した値に、レンダリング空間の高さを乗算することで、Ｄｖ２のｙ成分（Ｄｙ２）を求める。以上のようにして求めたＤｖ２＝（Ｄｘ２，Ｄｙ２）は、算出対象のサブ画素の輝度値を算出するのに用いられるレンダリング光線の終点位置となり、第１算出部１０１は、算出対象のサブ画素に対応する視点位置（光線の始点位置）とＤｖ２とから、算出対象のサブ画素のレンダリング光線の方向ベクトルを求めることができる。すなわち、以上のように算出された、算出対象のサブ画素に対応する視点位置とＤｖ２は、算出対象のサブ画素のレンダリング光線を特定可能な光線情報であると捉えることができる。以上のようにして、第１算出部１０１は、各サブ画素の光線情報を算出する。

なお、以上に説明した光線情報の算出処理は、ボリュームデータのレンダリングを行う際の投影方法が透視投影の場合を想定しているが、これに限らず、レンダリングを行う際の投影方法は透視投影に限らず、平行投影を用いることも可能である。この場合、光線の始点位置にＤｖ２を加算すればよい。また、平行投影と透視投影を組み合わせることも可能である。この場合、Ｄｖ２の成分のうち透視投影にしたい成分のみを光線の始点位置に加算すればよい。

なお、本実施形態では、１つのレンズまたはバリアを光学的開口５３として説明したが、これに限定されるものではなく、複数のレンズ（バリア）をまとめて１つの仮想的なレンズ（バリア）と考え、これを光学的開口５３として捉えることもできる。この場合も、上記と同様の処理を行うことが可能である。また、本実施形態では、算出対象のサブ画素が含まれる３Ｄピクセル領域のうち、算出対象のサブ画素と同一のＹ座標の左端を基準としたが、これに限定されるものではなく、算出対象のサブ画素と同一のＹ座標の右端を基準とすることもできるし、左端と右端の位置座標の平均により求められる中心を基準とすることもできる。要するに、３Ｄピクセル領域のうち、算出対象のサブ画素と同一のＹ座標を持つ部分領域を代表する点を基準とすることができる。また、図７の例では、光学的開口５３として機能するレンズが観察者側に向かって突出する形態（つまり、レンズの凸部が観察者側に向かう形態）を一例として示したが、これに限らず、レンズが、観察者側とは反対側のパネル側に向かって突出する形態（つまり、レンズの凸部がパネル側に向かう形態）であってもよい。

また、本実施形態では、パネル中心とレンダリング空間の原点（０，０，０）とが対応する場合を例に挙げて説明したが、パネル中心とレンダリング空間の原点（０，０，０）がずれていても、適切な座標変換を行うことで、上記と同様の処理を行うことが可能である。同様に、レンダリング空間の横幅とパネルのＸ軸方向の幅とがずれている、または、レンダリング空間の高さとパネルのＹ軸方向の幅とがずれていても、適切な座標変換を行うことにより、上記と同様の処理を行うことが可能である。さらに、光線番号が小数値を持つ場合には線形補間によって光線の始点位置（当該光線番号に対応する視点位置）を求めたが、補間方法はこれに限るものではなく、他の関数を用いてもよい。例えば、シグモイド関数のような非線形の関数を用いてもよい。

図５に戻って説明を続ける。第２算出部１０２は、サブ画素ごとに、第１算出部１０１で算出された光線情報と、第１取得部６０で取得されたボリュームデータとを用いて、当該サブ画素の輝度値を算出する。これにより、ボリュームデータのレンダリングとマッピングが同時に行われ、ボリュームデータを立体視可能な立体画像が生成される。

より具体的には、第２算出部１０２は、サブ画素ごとに、当該サブ画素の光線情報によって特定されるレンダリング光線とボリュームデータとが交差する部分の色情報に基づいて、当該サブ画素の輝度値を算出する。各サブ画素の輝度値を求める方法としては、コンピュータグラフィックスの分野で広く知られているレイキャスティングやレイトレーシングなどを用いることができる。レイキャスティングとは、視点から光線（レンダリング光線）を追跡し、光線とボリュームデータなどの３次元データとの交点における色情報を積算することで、その光線の先にあるサブ画素の輝度値を決定してレンダリングを行う方法であり、レイトレーシングとはそれに反射光を考慮したものである。詳細な説明については省略する。また、例えばボリュームデータの代わりに、境界表現モデルなどコンピュータグラフィクスの分野で一般的なその他のモデル（３次元データの一例）を用いた場合にも、上記と同様に、レイキャスティングやレイトレーシングなどを用いてレンダリングを行えばよい。

出力部８０は、生成部７０で生成された立体画像を表示部５０に出力する（表示させる）。

次に、図９を参照しながら、本実施形態の立体画像表示装置３０の動作例を説明する。図９は、立体画像表示装置３０の動作例を示すフローチャートである。まず、ステップＳ１０１において、第１取得部６０は、画像保管装置２０にアクセスして、医用画像診断装置１０によって生成されたボリュームデータを取得する。ステップＳ１０２において、第１算出部１０１は、サブ画素ごとに、当該サブ画素の光線番号を用いて、当該サブ画素のレンダリング光線を特定可能な光線情報を算出する。ステップＳ１０３において、第２算出部１０２は、サブ画素ごとに、当該サブ画素の光線情報と、ステップＳ１０１で取得されたボリュームデータとを用いて、当該サブ画素の輝度値を算出することで、立体画像を生成する。ステップＳ１０４において、出力部８０は、生成部７０によって生成された立体画像を表示部５０に表示させる。

以上に説明したように、本実施形態では、サブ画素ごとに、当該サブ画素の光線番号に基づいて、当該サブ画素のレンダリング光線を特定可能な光線情報を算出する。そして、サブ画素ごとに、当該サブ画素の光線情報とボリュームデータとを用いて、レイキャスティングなどを行うことにより、当該サブ画素の輝度値を算出する。すなわち、本実施形態では、視差画像を補間する処理を行わずに、ダイレクトに各サブ画素の輝度値を算出するので、多重像やボケの発生を防止できる。したがって、本実施形態によれば、観察者に提供する立体画像の画質を向上させることができる。

（第１実施形態の変形例）
例えば画像処理部４０で生成される立体画像の元となる３次元データは、１視点の画像（以下、「参照画像」と呼ぶ）と、それに対応するデプスデータ（参照画像の各画素の奥行き値を示すデータ）とを組み合わせた形態であってもよい。この場合、生成部７０は、サブ画素の光線番号とデプスデータとに応じて、参照画像を平行移動し、平行移動後の参照画像に基づいて、当該サブ画素の輝度値を算出する。以下、この場合の第１算出部１０１および第２算出部１０２の各々の機能を説明する。

第１算出部１０１の基本的な機能は第１実施形態と同様である。本変形例の場合は各サブ画素のレンダリング光線を特定する必要は無いが、第１算出部１０１は、上述の第１実施形態と同様に、サブ画素ごとに、当該サブ画素に対応する視点位置と、パネル中心からの距離（ベクトルＤｖ１）とを求め、当該サブ画素が含まれる３Ｄピクセル領域がレンダリング空間のどの位置にあるかを表すベクトルＤｖ２を求める。

第２算出部１０２は、サブ画素ごとに、当該サブ画素の光線番号と、当該サブ画素が含まれる３Ｄピクセル領域がレンダリング空間のどの位置にあるかを表すベクトルＤｖ２と、参照画像と、デプスデータとに基づいて、当該サブ画素の輝度値を算出する。より具体的には以下のとおりである。以下では、参照画像が光線番号０に対応する画像（基準視点０に対応する画像）であり、レンダリング空間の幅に参照画像の横幅が対応し、レンダリング空間の高さに参照画像の縦幅が対応し、レンダリング空間の原点（０，０，０）に参照画像の中心が対応する場合（つまり、パネルと参照画像が同じスケールでレンダリング空間に配置された場合）を例に挙げて説明する。

まず、参照画像の各画素における視差ベクトルｄを求める。視差ベクトルｄとは、所望の飛び出し量を得るためには画素をどちらの方向にどの程度平行移動する必要があるかを表すベクトルである。図１０に示すように、ある画素における視差ベクトルｄは以下の式１で求められる。

上記式１において、Ｌ_ｚはレンダリング空間での奥行きサイズ、ｚ_ｍａｘはデプスデータの取りうる最大値、ｚ_ｄはデプスデータ、ｚ_０はレンダリング空間での飛び出し距離、ｂは基準視点間のベクトル、ｚ_ｓはレンダリング空間におけるカメラ位置から参照画像（パネル）までの距離を表す。

次に、第２算出部１０２は、参照画像をデプスデータに応じて平行移動した後の各画素のレンダリング空間における位置ベクトルｐ２（ｘ，ｙ）を、以下の式２で求める。

上記式２において、ｘ，ｙはそれぞれ参照画像の画素単位の座標を示し、ｎ_ｖは輝度値の算出対象のサブ画素の光線番号を示し、ｐ１（ｘ，ｙ）はシフト前の各画素のレンダリング空間における位置ベクトルを示し、ｄ（ｘ，ｙ）は座標（ｘ，ｙ）の画素の奥行き値を示すデプスデータから算出された視差ベクトルを示す。

次に、第２算出部１０２は、以上のように算出したｐ２（ｘ，ｙ）のうち、位置座標が上述のＤｖ２（輝度値の算出対象のサブ画素が含まれる３Ｄピクセル領域がレンダリング空間のどの位置にあるかを表すベクトル）に最も近いものを特定し、それに対応する画素を決定する。そして、その決定した画素に含まれる複数のサブ画素のうち、輝度値の算出対象のサブ画素の色と同じサブ画素の輝度値が、求める輝度値となる。なお、上述のＤｖ２に最も近くなる画素が複数存在する場合は、飛び出し量が最も大きいものを採用することもできる。以上のようにして、各サブ画素の輝度値が算出される。

なお、本変形例では参照画像の全てのピクセルに対して視差ベクトルｄを求めているが、必ずしもこれに限るものではなく、例えばＤｖ２の位置座標を含む画素を求め、その画素と同じＹ座標（参照画像の座標系で）を持つ画素のみで視差ベクトルｄを求めてもよい。基準視点の位置がＸ軸方向でのみ異なる場合はこれで十分である。また、例えばＤｖ２の位置座標を含む画素を求め、その画素と同じＸ座標（参照画像の座標系で）を持つ画素のみで視差ベクトルｄを求めてもよい。基準視点の位置がＹ軸方向にのみ異なる場合はこれで十分である。また、参照画像中で最大の視差ベクトル｜ｄ｜が分かっている場合は、Ｄｖ２から±｜ｄ｜の領域に含まれる画素のみで視差ベクトルｄを求めてもよい。また、上記の組み合わせにより、さらに視差ベクトルｄを算出する領域を限定してもよい。

本変形例によれば、１視点に対応する画像とそれに対応するデプスデータとの組み合わせで３次元データが構成される場合であっても、視差画像を補間する処理を行わずに、各サブ画素の輝度値を算出して立体画像を生成することができるので、観察者に提供する立体画像の画質を向上させることができる。
（第２実施形態）
次に、第２実施形態について説明する。第２実施形態では、観察者の位置を取得し、その取得した観察者の位置が、観察者が立体画像を観察可能な視域に含まれるように、表示素子と光線制御素子との対応関係に関するパラメータ（以下、「パネルパラメータ」と呼ぶ）を補正する。そして、補正後のパネルパラメータで、各サブ画素の光線番号を算出する点で上述の第１実施形態と相違する。以下、具体的に説明する。なお、上述の第１実施形態と共通する部分については、同一の符号を付して適宜に説明を省略する。

図１１は、第２実施形態の画像処理部４００の構成例を示すブロック図である。図１１に示すように、画像処理部４００は、第２取得部６２と、補正部９０と、第３算出部１０３とをさらに備える点で上述の第１実施形態と相違する。

第２取得部６２は、観察者の位置を取得する。観察者の位置の取得には、例えば可視カメラ、赤外線カメラ等の撮像機器の他、レーダやセンサ等の機器を用いることができる。第２取得部６２は、これらの機器で得られた情報（例えばカメラの場合は撮影画像）から、公知の技術を用いて、観察者の位置を示す３次元座標値を取得することができる。

例えば、可視カメラを用いた場合には、撮像によって得た画像を画像解析することで、観察者の検出および観察者の位置の算出を行う。これによって、第２取得部６２は、観察者の位置を取得する。

また、例えばレーダを用いた場合には、得られたレーダ信号を信号処理することで、観察者の検出および観察者の位置の算出を行う。これによって、第２取得部６２は、観察者の位置を取得する。

また、例えば人物検出・位置検出における観察者の検出においては、人の顔、頭、人全体、マーカーなど、人であると判定可能な任意の対象を検出してもよい。例えば観察者の目の位置を検出してもよい。なお、観察者の位置の取得方法は、上記の方法に限定されるものではない。

補正部９０は、第２取得部６２で取得された観察者の位置が視域に含まれるように、パネルパラメータを補正する。本実施形態での補正対象となるパネルパラメータは、図１２に例示されたｋｏｆｆｓｅｔとＸｎの２つである。ｋｏｆｆｓｅｔは、パネル（表示素子５１）と光線制御素子５２とのＸ軸方向のずれ量を示すパラメータである。Ｘｎは、１つの光学的開口５３に対応するパネル上での幅Ｘｎを示すパラメータである。補正部９０は、ｋｏｆｆｓｅｔとＸｎを補正することにより、所望の位置に視域を移動させる。より具体的には、補正部９０は、以下の式３のようにパネルパラメータを補正することで、視域の移動を実現する。

ｒ＿ｏｆｆｓｅｔは、ｋｏｆｆｓｅｔに対する補正量を示す。ｒ＿Ｘｎは、Ｘｎに対する補正量を示す。これらの補正量の算出方法については後述する。なお、上記式３では、ｋｏｆｆｓｅｔを、光線制御素子５２に対するパネルのずれ量と定義した場合を例示しているが、パネルに対する光線制御素子５２のずれ量と定義した場合は、以下の式４のようになる。なお、Ｘｎに対する補正は、上記式３と同じである。

例えば、パネルおよび光線制御素子５２が、図１３（Ａ）に示す状態のときに、パネルと光線制御素子５２の位置関係を水平方向（Ｘ軸方向）にずらすと、図１３（Ｃ）に示すように、ずらした方向に視域が移動する。図１３（Ｃ）の例では、光線制御素子５２（光学的開口５３）を紙面に沿って左にシフトしたことで、光線がηだけ図１３（Ａ）の場合よりも左に寄り、これによって視域も左に寄っている。これは、レンズの位置をもとの位置で固定して考えた場合、表示画像が逆方向に動くのと等価である。本実施形態では、観察者の位置に応じて、パネルと光線制御素子５２のずれであるｋｏｆｆｓｅｔを物理的なずれ量よりも増減させるように要素画像を設定（３Ｄピクセル領域を設定）することで、Ｘ軸方向における視域の位置を変化させることが可能になる。

また、例えばパネルおよび光線制御素子５２が図１３（Ａ）の状態のときに、図１３（Ｂ）に示すように、１つの光学的開口５３に対応するパネル上での幅Ｘｎを広げると、視域はパネルに近くなる（つまり、図１３（Ｂ）では図１３（Ａ）よりも要素画像幅が大きくなっている）。本実施形態では、Ｘｎの値を増減させるように要素画像を設定することで、Ｚ軸方向における視域の位置を変化させることが可能になる。

以上より、パネルパラメータｋｏｆｆｓｅｔ、Ｘｎを適切に補正することで、Ｘ軸方向およびＺ軸方向のいずれにも視域の位置を変化させることができる。よって、観察者が任意の位置にいる場合でも、その位置に合わせた視域を設定することが可能になる。以下、ｏｆｆｓｅｔに対する補正量ｒ＿ｏｆｆｓｅｔ、Ｘｎに対する補正量ｒ＿Ｘｎの算出方法の例を示す。

補正部９０は、観察者のＸ座標からｒ＿ｏｆｆｓｅｔを算出する。より具体的には、補正部９０は、現在の観察者のＸ座標と、観察位置からパネル（あるいはレンズ）までの距離である視距離Ｌ、光線制御素子５２（レンズの場合は主点Ｐ）とパネルとの距離であるギャップｇ（図１２参照）を用いて、以下の式５で、ｒ＿ｏｆｆｓｅｔを算出する。なお、現在の観察位置は、第２取得部６２により取得され、視距離Ｌは、当該現在の観察位置から計算される。

また、補正部９０は、観察者のＺ座標を用いて、以下の式６で、ｒ＿Ｘｎを算出する。なお、式６におけるＬｅｎｓ＿ｗｉｄｔｈ（図１２参照）は、光学的開口５３のＸ軸方向の幅である。

再び図１１に戻って説明を続ける。第３算出部１０３は、補正部９０により補正された後のパネルパラメータで、各サブ画素の光線方向を算出する。より具体的には、補正後のパネルパラメータに応じて決まる３Ｄピクセル領域の最もＸ軸の負の方向に存在する境界線に対応する位置から射出される光が飛ぶ方向を０とし、その境界線からＸｎ／Ｎだけ離れた位置から射出される光が飛ぶ方向を1というように順に定義し、その定義に基づいて、各サブ画素の光線番号を算出する。

その他の構成は、上述の第１実施形態と同様であるので、詳細な説明は省略する。図１４は、各サブ画素の光線番号を算出する処理（光線番号算出処理）の一例を示すフローチャートである。図１４に示すように、まず、ステップＳ２０１において、第２取得部６２は、観察者の位置を取得する。ステップＳ２０２において、補正部９０は、ステップＳ２０１で取得された観察者の位置が視域に含まれるようにパネルパラメータを補正する。ステップＳ２０３において、第３算出部１０３は、補正後のパネルパラメータで、各サブ画素の光線番号を算出する。

第２実施形態の画像処理部４００は、予め定められた周期で、上述の光線番号算出処理を実行する。そして、第２実施形態の立体画像表示装置は、上述の光線番号算出処理により算出された各サブ画素の光線番号を用いて、取得した３次元データの立体画像を生成する。立体画像の生成方法は、図９を用いて説明した内容と同じである。

以上、本発明の実施形態を説明したが、上述の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。

例えば上述の各実施形態では、光線制御素子５２は、その光学的開口５３の延伸方向がパネル（表示素子５１）のＹ方向に対して、所定の傾きを有するように配置されているが、傾きの大きさは任意に変更可能である。また、例えば光線制御素子５２は、その光学的開口５３の延伸方向が、パネルのＹ方向に一致するように配置される構成（いわゆる垂直レンズ）であってもよい。なお、上述の各実施形態および変形例は任意に組み合わせることもできる。

上述の各実施形態の画像処理部（４０，４００）は、ＣＰＵ（Central Processing Unit）、ＲＯＭ、ＲＡＭ、および、通信Ｉ／Ｆ装置などを含んだハードウェア構成となっている。上述した各部の機能は、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭ上で展開して実行することにより実現される。また、これに限らず、各部の機能のうちの少なくとも一部を個別の回路（ハードウェア）で実現することもできる。上述の各実施形態の画像処理部（４０，４００）は、請求項の「画像処理装置」に対応する。

また、上述の各実施形態の画像処理部（４０，４００）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の各実施形態の画像処理部（４０，４００）で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の各実施形態の画像処理部（４０，４００）で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。

１画像表示システム
１０医用画像診断装置
２０画像保管装置
３０立体画像表示装置
４０画像処理部
５０表示部
５１表示素子
５２光線制御素子
５３光学的開口
６０第１取得部
６２第２取得部
７０生成部
８０出力部
９０補正部
１０１第１算出部
１０２第２算出部
１０３第３算出部
４００画像処理部

Claims

複数のサブ画素を含む画素が配列された表示素子と、前記表示素子から射出される光線の射出方向を制御する光線制御素子と、を有する表示部に表示する立体画像を生成する画像処理装置であって、
前記立体画像を生成するための３次元データを取得する第１取得部と、
前記サブ画素ごとに、当該サブ画素から前記光線制御素子を介して射出される光線の射出方向と、前記３次元データとに基づいて、当該サブ画素の輝度値を算出し、前記立体画像を生成する生成部と、を備え、
前記生成部は、
前記サブ画素ごとに、前記射出方向が示す方向を前記３次元データが定義される座標系に応じて補正した方向に対応する視点位置を、当該サブ画素の視点位置として特定し、特定した当該サブ画素の視点位置と、当該サブ画素の位置と、前記３次元データとに基づいて、当該サブ画素の輝度値を算出する、
画像処理装置。
前記３次元データは、空間分割モデルまたは境界表現モデルで表され、
前記生成部は、
前記サブ画素ごとに、前記射出方向に基づいて、当該サブ画素に対応する視点位置を通る光線であって、当該サブ画素の輝度値の算出に用いられるレンダリング光線を特定可能な光線情報を算出する第１算出部と、
前記サブ画素ごとに、前記光線情報と前記３次元データとを用いて当該サブ画素の輝度値を算出する第２算出部と、を備える、
請求項１の画像処理装置。
前記第２算出部は、前記サブ画素ごとに、前記光線情報によって特定されるレンダリング光線と前記３次元データとが交差する部分の色情報に基づいて、当該サブ画素の輝度値を算出する、
請求項２の画像処理装置。
前記３次元データは、医用画像のボリュームデータである、
請求項２または請求項３の画像処理装置。
前記３次元データは、少なくとも１つの視点に対応する画像を示す参照画像と、前記参照画像の各画素の奥行き値を示すデプスデータとの組み合わせで構成され、
前記生成部は、前記サブ画素の前記射出方向と前記デプスデータとに応じて前記参照画像を平行移動し、平行移動後の前記参照画像に基づいて、当該サブ画素の輝度値を算出する、
請求項１の画像処理装置。
観察者の位置を取得する第２取得部と、
前記観察者の位置が、前記観察者が前記立体画像を観察可能な視域に含まれるように、前記表示素子と前記光線制御素子との対応関係に関するパラメータを補正する補正部と、
前記補正部により補正された後の前記パラメータで、各前記サブ画素の前記光線方向を算出する第３算出部と、をさらに備える、
請求項１の画像処理装置。
複数のサブ画素を含む画素が配列された表示素子と、前記表示素子から射出される光線の射出方向を制御する光線制御素子と、を有する表示部と、
立体画像を生成するための３次元データを取得する第１取得部と、
前記サブ画素ごとに、当該サブ画素から前記光線制御素子を介して射出される光線の射出方向と、前記３次元データとに基づいて、当該サブ画素の輝度値を算出し、前記立体画像を生成する生成部と、を備え、
前記生成部は、
前記サブ画素ごとに、前記射出方向が示す方向を前記３次元データが定義される座標系に応じて補正した方向に対応する視点位置を、当該サブ画素の視点位置として特定し、特定した当該サブ画素の視点位置と、当該サブ画素の位置と、前記３次元データとに基づいて、当該サブ画素の輝度値を算出する、
立体画像表示装置。
複数のサブ画素を含む画素が配列された表示素子と、前記表示素子から射出される光線の射出方向を制御する光線制御素子と、を有する表示部に表示する立体画像を生成する画像処理方法であって、
前記立体画像を生成するための３次元データを取得し、
前記サブ画素ごとに、当該サブ画素から前記光線制御素子を介して射出される光線の射出方向と、前記３次元データとに基づいて、当該サブ画素の輝度値を算出し、前記立体画像を生成し、
前記サブ画素ごとに、前記射出方向が示す方向を前記３次元データが定義される座標系に応じて補正した方向に対応する視点位置を、当該サブ画素の視点位置として特定し、特定した当該サブ画素の視点位置と、当該サブ画素の位置と、前記３次元データとに基づいて、当該サブ画素の輝度値を算出する、
画像処理方法。
複数のサブ画素を含む画素が配列された表示素子と、前記表示素子から射出される光線の射出方向を制御する光線制御素子と、を有する表示部に表示する立体画像を生成する画像処理プログラムであって、
コンピュータを、
前記立体画像を生成するための３次元データを取得する取得手段と、
前記サブ画素ごとに、当該サブ画素から前記光線制御素子を介して射出される光線の射出方向と、前記３次元データとに基づいて、当該サブ画素の輝度値を算出し、前記立体画像を生成する生成手段として機能させ、
前記生成手段は、
前記サブ画素ごとに、前記射出方向が示す方向を前記３次元データが定義される座標系に応じて補正した方向に対応する視点位置を、当該サブ画素の視点位置として特定し、特定した当該サブ画素の視点位置と、当該サブ画素の位置と、前記３次元データとに基づいて、当該サブ画素の輝度値を算出する、
画像処理プログラム。