JP5536115B2 - 立体表示可能ディスプレイにおける３ｄビデオ画像のレンダリング - Google Patents

立体表示可能ディスプレイにおける３ｄビデオ画像のレンダリング Download PDF

Info

Publication number
JP5536115B2
JP5536115B2 JP2012004619A JP2012004619A JP5536115B2 JP 5536115 B2 JP5536115 B2 JP 5536115B2 JP 2012004619 A JP2012004619 A JP 2012004619A JP 2012004619 A JP2012004619 A JP 2012004619A JP 5536115 B2 JP5536115 B2 JP 5536115B2
Authority
JP
Japan
Prior art keywords
facet
view
field
foreground
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012004619A
Other languages
English (en)
Other versions
JP2012104144A (ja
Inventor
ハオホン・ワン
シアン−ツン・リ
シャラス・マンジュナス
インギョン・キ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2012104144A publication Critical patent/JP2012104144A/ja
Application granted granted Critical
Publication of JP5536115B2 publication Critical patent/JP5536115B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本開示は、一般に、コンピュータ・グラフィックの分野に関し、特に、立体表示可能ディスプレイに３Ｄ画像を効率的にレンダリングする技術に関する。
立体ビデオ処理の計算複雑性は、３Ｄグラフィックのレンダリングにおいて、特に、例えばモバイル電話、携帯情報端末（ＰＤＡ）デバイス等のような低電力（すなわちバッテリー電力）デバイスでの３Ｄシーン及びビデオ・ゲームの視覚化において主要な要因である。
一般に、立体表示可能ディスプレイ（例えば、オートステレオスコピック・ディスプレイ又はステレオスコピック・ディスプレイ）での３Ｄグラフィックのレンダリングにおける困難性は、立体ビデオ処理の効率の局面及びリアリティの局面から生じる。低電力デバイスの限られた計算リソースによって、３Ｄグラフィックのレンダリングは過度に時間のかかるルーチンとなりうる。立体ビデオ処理の性能を改善するために向けられた多大な努力にもかかわらず、更なる改善が望まれる。
従って、当該技術分野において、３Ｄビデオ画像のリアリティが向上されたレンダリングを立体表示可能ディスプレイ上で効率的に実現する技術へのニーズがある。
立体表示可能ディスプレイに３Ｄビデオ画像を効率的にレンダリングする技術が説明される。実施形態において、ビデオ・データの３Ｄモデルビュー変換中、視聴者に対向しないファセットが除外される。第１の視野（例えば、左視野）のために、予め定められた奥行き閾値より手前に位置するシーン要素に対応する第１の前景ファセットと、予め定められた奥行き閾値より奥に位置するそのような要素に対応する第１の背景ファセットとが選択的に定められる。第２の視野のために、予め定められた奥行き閾値より手前に位置するシーン要素に対応する第２の前景ファセットが定められ、第１の背景ファセットが、第２の背景ファセットとして用いられる。第１の前景ファセット、第１の背景ファセット、及び第２の前景ファセットのためのライティングが決定される。第１の前景ファセット及び第１の背景ファセットに基づいて、第１の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算が実行され、第２の前景ファセット及び第１の背景ファセットに基づいて、第２の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算が実行される。
１つの設計において、この方法は、例えばモバイル電話、モバイル・コンピュータ、ビデオ・ゲーム・プラットフォーム、又はＰＤＡデバイスのようなバッテリー駆動式デバイスのステレオスコピック・ディスプレイ又はオートステレオスコピック・ディスプレイでビデオ画像を視覚化するために用いられる。
本発明の様々な局面及び実施形態が、以下で更に詳しく説明される。
図１は、立体表示可能ディスプレイに３Ｄビデオをレンダリングする方法を示すフロー図を示す。 図２は、図１の方法において用いられるファセット分類手順の間に奥行き閾値を決定する方法を示す概略図を示す。 図３は、図１の方法を用いるために用いられる典型的なデバイスのブロック図を示す。
理解を容易にするために、要素を区別する添付文字が付加されうる適切な場合を除いて、可能であれば、図面に共通である同一の要素を示すために同一の参照番号が用いられる。図面中のイメージは、例示目的のために簡略化されており、一定の比例に拡大縮小されていない。１つの実施形態のステップ又は特徴は、更なる記載なしで他の実施形態内に有益に組み込まれうることが意図されている。
図面を参照すると、図１は、本発明の１つの実施形態に従って、立体表示可能ディスプレイに３Ｄビデオ画像をレンダリングする方法１００を示すフロー図を示す。典型的なアプリケーションにおいて、方法１００は、バッテリー駆動式（すなわち、低電力）デバイスで立体グラフィックを表示する計算の複雑さ及び電力消費を低減し、性能、特に視覚化された画像の奥行き感及びリアリティ感を改善するために用いられる。バッテリー駆動式デバイスは、モバイル電話、モバイル・コンピュータ、ビデオ・ゲーム・プラットフォーム、又はＰＤＡデバイスを含むが、それらに限定されない。
方法１００は、異なる角度及び観察地点からシーンを視覚化することによって、左目と右目との別々の視野（すなわち、左視野及び右視野）を生成する。ここで、視聴者の両目の間の瞳孔間隔によって生じる両眼視差を再生することによって、奥行き感が増す。視野は、視聴者の左目と右目とへ選択的に導かれ、視聴者の視点からは、左視野と右視野との間の距離が、奥行き感及びリアリティ感を増加させる。
左視野及び右視野のレンダリングに対応する方法ステップのシーケンスが、それぞれ、１０３及び１０５として示される。以後、添え字「Ａ」及び「Ｂ」は、左視野及び右視野をレンダリングするために入力されたビデオ・データで実行される処理をそれぞれ区別するために用いられる。例示的に、添え字「Ａ」は、左視野をレンダリングするために実行される方法ステップを示す。
様々な実施形態において、方法１００の方法ステップは、図示された順序で実行されるか、あるいは、これらのステップ又はそれらの一部のうちの少なくとも２つが、同時に、並行して、又は異なる順序で実行されうる。例えば、ステップ１４０Ａ及び１４０Ｂ、又はステップ１６０Ａ及び１７０Ｂが同時に又は並行して実行され、ステップ１５２Ａがステップ１５０Ａの前に実行されうる。当業者は、以下で説明するその他の方法ステップ、処理、又はルーチンの少なくとも一部を実行する順序も変更されうることを容易に理解するであろう。
ステップ１１０Ａでは、入力されたビデオ・データの３Ｄモデルビュー変換が左視野について実行される。３Ｄモデルビュー変換ルーチン中、視聴者は、３Ｄワールド座標系のｚ次元に対向する中心に位置づけられ、シーン内の幾何学的物体が、左視野ファセット（例えば三角形のファセット）にマップされる。
ステップ１２０Ａでは、計算リソースを節約し、ビデオ処理の効率を増加させるために、視聴者に対向しないファセット（すなわち、視聴者に不可視であるファセット）が、左視野をレンダリングするために用いられるファセットのデータベースから除外又は除去される。
ステップ１３０Ａでは、残りの左視野ファセット（すなわち、シーンの幾何学的物体の、視聴者の左目に可視である要素に対応するファセット）が、２つのカテゴリに分類される。第１のカテゴリは、予め定められた奥行き閾値Ｚ０（図２に示す）より手前に位置するシーン要素に対応する左視野前景ファセットを含む。従って、第２のカテゴリは、予め定められた奥行き閾値より奥に位置するシーン要素に対応する左視野背景ファセットを含む。
ファセットの分類は、シーン内の幾何学的物体間の視差が、左視野の画像ポイントと右視野の画像ポイントとの間の画素単位で測定されるように、物体に対する視聴者からの距離が増加すると減少し、これらの物体が視聴者から非常に離れて位置するとゼロになるという観測に基づいている。
奥行き閾値Ｚ０は、任意の物体が視聴者の何れか片方の目によって観察される場合、その物体が同一の画素に対応する、視聴者からの最大距離として定義されうる（図２に関して以下で詳しく説明される）。相応じて、ステップ１７０Ａ及びステップ１７０Ｂに関して以下で説明されるように、奥行き閾値Ｚ０より奥に位置する物体のシェーディングは、一方の視野（ここでは、左視野）のみについて実行されうる。
ステップ１４０Ａでは、左視野前景ファセット及び左視野背景ファセットのための色特性を決定するためにライティング処理が実行される。
ステップ１５０Ａでは、左視野前景ファセットを２Ｄ画像面に投影するために３Ｄから２Ｄへの透視変換が実行される。
ステップ１５２Ａでは、３Ｄから２Ｄへの透視変換が左視野背景ファセットに実行される。
ステップ１６０Ａでは、２Ｄ画像面において、スクリーン・マッピング処理が左視野のために実行される。スクリーン・マッピング処理は、左視野前景ファセット及び左視野背景ファセットを、ディスプレイの可視スクリーンのサイズに適合するようにスケールし、スクリーンからはみ出す幾何学的物体やその一部を除去する。ステップ１６０Ａの間、左視野背景ファセットのスクリーン・マッピングに対応するデータの少なくとも一部は、ステップ１６０Ｂに関して以下で説明するように右視野の計算において用いるために、それぞれのメモリ媒体（例えば、ランダム・アクセス・メモリ（ＲＡＭ））内に選択的に保存される。
ステップ１７０Ａでは、スクリーン・レンダリング処理が左視野のために実行される。スクリーン・レンダリング処理は、以下の計算ルーチンの少なくとも一部を含む。（ｉ）左視野前景ファセット及び左視野背景ファセットの、視聴者に可視である部分をレンダリングする画素の輝度値を決定するシェーディング・ルーチン、（ｉｉ）左視野前景ファセット及び左視野背景ファセットの、視聴者に不可視である部分を決定し除去する隠れ面消去（ＨＳＲ）ルーチン、（ｉｉｉ）可視左視野前景ファセット及び可視左視野背景ファセットを左視野物体ファセットに変換するテクスチャ・マッピング・ルーチン、及び（ｉｖ）画素の特性を定義するために、左視野物体ファセットの画素を選択的に結合するブレンディング・ルーチン。
ステップ１７０Ａの間、左視野背景ファセットのスクリーン・レンダリングに対応するデータの少なくとも一部が、ステップ１７０Ｂに関して以下で説明するように右視野の計算において用いるために、メモリ媒体内に選択的に保存される。
ステップ１１０Ｂでは、入力されたビデオ・データの３Ｄモデルビュー変換が右視野のために実行される。ステップ１２０Ａ及びステップ１３０Ａ（リンク１２１Ａとともに図示される）の計算結果を用いて、変換ルーチン中、幾何学的物体の視聴者の右目に可視である要素の右視野前景ファセットのみが生成されることを提供する方式で、三角形ファセットの頂点がフィルタされる。これら右視野ファセットは、集合的に、予め定められた奥行き閾値Ｚ０より手前に位置するシーン要素に対応する。加えて、（前のステップ１３０Ａで定義された）左視野背景ファセットが、右視野背景ファセットとして用いられる。
片側の視野（すなわち、左視野）のみに基づいて視聴者に対向しないファセットを除外すると、ビデオ・データ処理の量は著しく低減されるが、いくつかの例において、右視野のレンダリングにおける近似誤りを招きうる。しかし、実験及びコンピュータ・シミュレーションによって、視聴者の両目が互いに接近すると、ほんとどのアプリケーションにおいて、そのような誤りを受入れ可能な低いレベルに保つことができることが明らかになった。
ステップ１４０Ｂでは、右視野前景ファセットの色特性を決定するためにライティング処理が実行される。
ステップ１５０Ｂでは、右視野前景ファセットを２Ｄ画像面に投影するために３Ｄから２Ｄへの透視変換が実行される。
ステップ１６０Ｂでは、２Ｄ画像面において、スクリーン・マッピング処理が右視野のために実行される。ステップ１６０Ｂのスクリーン・マッピング処理は、ディスプレイの可視スクリーンのサイズに適合するように、右視野前景ファセットをスケールし、更に、ステップ１６０Ａで保存した左視野背景ファセットのスクリーン・マッピングの計算結果を、右視野背景ファセットのスクリーン・マッピング・データとして用いる（リンク１６１Ａを用いて図示される）。動作中、ステップ１６０Ａの間実行された計算の結果を用いることによって、右視野のスクリーン・マッピング処理のデータ処理量及び計算複雑さが低減される。
ステップ１７０Ｂでは、スクリーン・レンダリング処理が右視野のために実行される。ステップ１７０Ｂのスクリーン・レンダリング処理は、以下の計算ルーチンの少なくとも一部を含む。（ｉ）右視野前景ファセットの、視聴者に可視である部分をレンダリングする画素の輝度値を決定するシェーディング・ルーチン、（ｉｉ）右視野前景ファセットの、視聴者に不可視である部分を決定し除去する隠れ面消去（ＨＳＲ）ルーチン、（ｉｉｉ）ステップ１７０Ａで保存された左視野背景ファセットのスクリーン・レンダリングの結果を、右視野背景ファセットのスクリーン・レンダリング・データとして用いること（リンク１７１Ａを用いて図示される）、（ｉｖ）可視右視野前景ファセット及び可視左視野背景ファセットを、右視野物体ファセットに変換するテクスチャ・マッピング・ルーチン、及び（ｖ）スクリーン画素の特性を定めるために、右視野物体ファセットの画素を選択的に結合するブレンディング・ルーチン。
ステップ１６０Ａ及びステップ１７０Ａで左視野背景ファセットのために実行された計算の結果を用いることによって、右視野のスクリーン・レンダリング処理のデータ処理量及び計算複雑性が更に著しく低減される。
ステップ１７５では、フレーム形成処理においてステップ１７０Ａ及びステップ１７０Ｂのブレンディング・ルーチンの計算結果を用いて、入力されたビデオ・データに含まれた３Ｄ画像が、オートステレオスコピック・ディスプレイ上で視覚化される。
あるいはステップ１８０では、ステップ１７０Ａ及びステップ１７０Ｂのブレンディング・ルーチンの結果を用いてアナグリフ画像が生成され、ステップ１８５では、フレーム形成処理が、対応する３Ｄ画像をステレオスコピック・ディスプレイ上で生成する。
動作中、上述した方法ステップは、入力されたデータ・ストリームに含まれた画像を立体グラフィックの形式で連続して視覚化するために、循環して反復される。
典型的な実施形態において、方法１００は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせによって、１つ又は複数のコンピュータ実行可能命令を備えたコンピュータ・プログラム製品の形式で実現されうる。ソフトウェアによって実現される場合、コンピュータ・プログラム製品は、コンピュータ記憶媒体及びコンピュータ通信媒体を含むコンピュータ読取可能媒体に格納されるか、あるいはそれを用いて送信されうる。
「コンピュータ記憶媒体」という用語は、本明細書において、コンピュータに方法を実行させる命令を格納するために用いられる任意の媒体を称する。限定ではなく一例として、コンピュータ記憶媒体は、電子メモリ・デバイス（例えば、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ等）を含む固体メモリ・デバイス、光メモリ・デバイス（例えば、コンパクト・ディスク（ＣＤ（登録商標））、デジタル・バーサタイル・ディスク（ＤＶＤ）等）、磁気メモリ・デバイス（例えば、ハード・ドライブ、フラッシュ・デバイス、テープ・ドライブ等）、あるいはコンピュータ・プログラム製品を格納するために用いられるその他のメモリ・デバイスや、そのようなメモリ・デバイスの組み合わせを備えることができる。
「コンピュータ通信媒体」という用語は、本明細書において、例えば変調された搬送波、光信号、ＤＣ電流やＡＣ電流等を用いて、１つの場所から別の場所へコンピュータ・プログラム製品を送るために用いられる任意の物理インタフェースを称する。限定ではなく一例として、コンピュータ通信媒体は、ツイスト線ペア、印刷ケーブル又はフラットケーブル、同軸ケーブル、光ファイバー・ケーブル、デジタル加入者線（ＤＳＬ）、又はその他の有線インタフェース、無線インタフェース、光直列インタフェースや光並列インタフェース、あるいはそれらの組み合わせを備えることができる。
図２は、図１の方法１００において用いられるファセット分類手順中に奥行き閾値Ｚ０を決定する方法を示す概略図２００を示す。特に、図２は、視聴者の左（Ｌ）目及び右目の視界２０１Ｌ及び２０２Ｒ、表示されたシーン２１０の３ＤポイントＴ（ｘ，ｙ，ｚ）、投影面２０２、及び奥行き閾値Ｚ０を示す。
視聴者の左（Ｔ１）目及び右（Ｔ２）目について、投影面２０２上の３ＤポイントＴ（ｘ，ｙ，ｚ）の投影されるポイントの座標Ｔ１及びＴ２は、以下の式を用いて計算される。
Figure 0005536115
及び
Figure 0005536115
ここで、Ａ及びＢは、それぞれ視聴者の左目及び右目のための３ＤポイントＴ（ｘ，ｙ，ｚ）のモデルビュー変換マトリクスであり、Ｃは、投影及びスクリーン・マッピング・マトリクスである。
３ＤポイントＴ（ｘ，ｙ，ｚ）が奥行き閾値Ｚ０より奥に位置する場合、投影面２０２において、投影されるポイントはオーバラップする。従って、３ＤポイントＴ（ｘ，ｙ，ｚ）が奥行き閾値Ｚ０より手前に位置する場合、投影されるポイントは水平にシフトし、投影面２０２において、これらのポイント間の距離が、左視野と右視野との間の視差ｄ＝Ｘ１−Ｘ２を定める。ここで、Ｘ１及びＸ２は、Ｔ１及びＴ２の水平座標である。奥行き閾値Ｚ０より奥に位置する３Ｄポイントの場合、視差は１より大きく（すなわち、｜ｄ｜＞１であり）、左視野に対応する画素と右視野に対応する画素とはオーバラップする。
式（１）及び式（２）を用い、視点ビューイングの単調特性（すなわち、物体と視聴者との間の距離が大きくなるにつれ、物体が単調に小さく見える特性）に基づいて、奥行き閾値Ｚ０は、次の式
Figure 0005536115
を解き、表示されたシーンの頂点のサンプリングのために、式（４）のｍ個の解ｚｋのうちの最大成分を選択することによって計算されうる。すなわち、１≦ｋ≦ｍのとき、Ｚ０＝ｍａｘ（ｚ１，ｚ２，・・・ｘｍ）。３Ｄモデルビュー変換（方法１００のステップ１１０Ａ、１１０Ｂ）中に生成された三角形のファセットは、その頂点全てが奥行き閾値Ｚ０より手前に位置する場合、前景ファセットとして分類され、そうでない場合、背景ファセットとして分類される。
図３は、図１の方法１００を用いるために用いられる典型的なデバイス３００のブロック図を示す。例示的に、デバイス３００（例えば、モバイル電話、モバイル・コンピュータ、ビデオ・ゲーム・プラットフォーム、携帯情報端末（ＰＤＡ）デバイス等）は、ステレオスコピック・ディスプレイ又はオートステレオスコピック・ディスプレイ３１０、プロセッサ３２０、メモリ３３０、サポート回路３４０、入力／出力（Ｉ／Ｏ）モジュール３５０、及びユーザ制御３６０を含む。
メモリ３３０（例えば、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）、ハード・ドライブ、コンパクト・ディスク（ＣＤ）、又はその他の電子的コンピュータ読取可能媒体、磁気コンピュータ読取可能媒体、あるいは光学的コンピュータ読取可能媒体）は、他のプログラム・コードの中で、プロセッサ３２０によって実行されると、方法１００を実行させるプログラム・コードを含む。サポート回路３４０は、動作可能ユニットにおいてデバイス３００の機能構成要素を統合するデバイス、回路、及びバスを集合的に含む。ビデオ・データは、入力／出力（Ｉ／Ｏ）モジュール３５０を介してデバイス３００へ提供され、その後、プロセッサ３２０によって処理され、ディスプレイ３１０上で立体グラフィック像を生成する。
本開示における上記説明は、当業者をして、本開示の製造又は利用を可能とするために提供される。本開示への様々な変形例もまた、当業者には明らかであり、本明細書で定義された一般原理は、本開示の精神及び範囲を逸脱することなくその他の変形例にも適用可能である。従って、本開示は、本明細書で説明された例に限定することは意図されておらず、本明細書に開示された原理及び新規特徴と整合が取れた最も広い範囲と一致するように意図されている。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［発明１］
立体表示可能ディスプレイ上に３Ｄビデオ画像をレンダリングする方法であって、
（ａ）ビデオ・データの３Ｄモデルビュー変換中、
視聴者に対向しないファセットを除外することと、
第１の視野のために、予め定められた奥行き閾値より手前に位置するシーン要素に対応する第１の前景ファセットと、前記閾値より奥に位置するシーン要素に対応する第１の背景ファセットとを定めることと、
第２の視野のために、前記閾値より手前に位置するシーン要素に対応する第２の前景ファセットを選択的に定め、前記第１の背景ファセットを第２の背景ファセットとして用いることと、
（ｂ）前記第１の前景ファセットと、前記第１の背景ファセットと、前記第２の前景ファセットとのためのライティングを決定することと、
（ｃ）前記第１の前景ファセット及び前記第１の背景ファセットに基づいて、前記第１の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと、
（ｄ）前記第２の前景ファセット及び前記第１の背景ファセットに基づいて、前記第２の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと
を備えた方法。
［発明２］
前記ステップ（ａ）乃至（ｄ）又はそれらの一部のうちの少なくとも２つが、並行に又は同時に実行される発明１に記載の方法。
［発明３］
前記第１の視野が左視野であり、前記第２の視野が右視野である発明１に記載の方法。
［発明４］
前記第１の視野が右視野であり、前記第２の視野が左視野である発明１に記載の方法。
［発明５］
前記立体表示可能ディスプレイは、ステレオスコピック・ディスプレイである発明１に記載の方法。
［発明６］
アナグリフ画像を生成することを更に備えた発明１に記載の方法。
［発明７］
前記立体表示可能ディスプレイは、オートステレオスコピック・ディスプレイである発明６に記載の方法。
［発明８］
前記ディスプレイは、バッテリー駆動式デバイスの一部である発明１に記載の方法。
［発明９］
前記バッテリー駆動式デバイスは、モバイル電話、モバイル・コンピュータ、ビデオ・ゲーム・プラットフォーム、又は携帯情報端末（ＰＤＡ）デバイスを備える発明８に記載の方法。
［発明１０］
前記ステップ（ｂ）は更に、前記ファセットの頂点の色特性を計算することを備えた発明１に記載の方法。
［発明１１］
前記ステップ（ｃ）は更に、
前記第１の前景ファセットと、前記第１の背景ファセットとのための３Ｄから２Ｄへの透視変換を実行することと、
前記第１の背景ファセットの前記変換の結果を格納することと、
前記第１の視野の、視聴者に対して可視である部分をレンダリングする画素の輝度値を計算するためのシェーディング・ルーチンを実行することと、
前記第１の視野の、視聴者に対して不可視である部分を除去する隠れ面消去（ＨＳＲ）ルーチンを実行することと、
前記第１の視野のＨＳＲ処理の結果を格納することと
を備えた発明１に記載の方法。
［発明１２］
前記ステップ（ｄ）は更に、
前記第２の前景ファセットのための３Ｄから２Ｄへの透視変換を実行することと、
前記第１の背景ファセットのために前記変換の結果を適合させることと、
前記第２の視野の、視聴者に対して可視である部分をレンダリングする画素の輝度値を計算するためのシェーディング・ルーチンを実行することと、
前記第１の視野のＨＳＲルーチンの結果を用いて、前記第２の視野の、視聴者に対して不可視である部分を除去することと、
前記第２の視野の、視聴者に対して可視である部分をレンダリングする画素の輝度値を計算することと
を備えた発明１１に記載の方法。
［発明１３］
（ａ）ビデオ・データの３Ｄモデルビュー変換中、
視聴者に対向しないファセットを除外することと、
第１の視野のために、予め定められた奥行き閾値より手前に位置するシーン要素に対応する第１の前景ファセットと、前記閾値より奥に位置するシーン要素に対応する背景ファセットとを定めることと、
第２の視野のために、前記閾値より手前に位置するシーン要素に対応する第２の前景ファセットを選択的に定め、第２の背景ファセットとして前記第１の背景ファセットを用いることと、
（ｂ）前記第１の前景ファセットと、前記第１の背景ファセットと、前記第２の前景ファセットとのためのライティングを決定することと、
（ｃ）前記第１の前景ファセット及び前記第１の背景ファセットに基づいて、前記第１の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと、
（ｄ）前記第２の前景ファセット及び前記第１の背景ファセットに基づいて、前記第２の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと
によって、コンピュータに、３Ｄビデオ画像を立体表示可能ディスプレイにレンダさせるための命令群を有するコンピュータ読取可能媒体を含むコンピュータ・プログラム製品。
［発明１４］
立体表示可能ディスプレイに３Ｄビデオ画像をレンダリングする方法であって、
（ａ）第１のファセットを生成するために、左視野のビデオ・データの３Ｄモデルビュー変換を実行することと、
（ｂ）前記第１のファセットのうちの視聴者に対向する第１の複数のファセットを、前記第１のファセットのうちの視聴者に対向しない第２の複数のファセットから分離することと、
（ｃ）前記第１のファセットのうちの第２の複数のファセットを除外することと、
（ｄ）前記第１のファセットのうちの第１の複数のファセットにおいて、予め定められた奥行き閾値より手前に位置する要素に対応する第１の前景ファセットを、前記閾値より奥に位置する要素に対応する第１の背景ファセットから分離することと、
（ｅ）前記閾値より手前に位置する要素の第２の前景ファセットを選択的に生成するために、右視野のビデオ・データの３Ｄモデルビュー変換を実行し、第２の背景ファセットとして前記第１の背景ファセットを用いることと、
（ｆ）前記第１の前景ファセットと、前記第１の背景ファセットと、前記第２の前景ファセットとのためのライティングを決定することと、
（ｇ）前記第１の前景ファセット及び前記第１の背景ファセットに基づいて、前記左視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと、
（ｈ）前記第２の前景ファセットに基づいて、前記右視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと
を備えた方法。
［発明１５］
前記ステップ（ａ）乃至（ｈ）又はそれらの一部のうちの少なくとも２つが並行して又は同時に実行される発明１４に記載の方法。
［発明１６］
前記立体表示可能ディスプレイは、ステレオスコピック・ディスプレイである発明１４に記載の方法。
［発明１７］
アナグリフ画像を生成することを更に備えた発明１４に記載の方法。
［発明１８］
前記立体表示可能ディスプレイは、オートステレオスコピック・ディスプレイである発明１７に記載の方法。
［発明１９］
前記ディスプレイは、モバイル電話、モバイル・コンピュータ、ビデオ・ゲーム・プラットフォーム、又は携帯情報端末（ＰＤＡ）デバイスの一部である発明１４に記載の方法。
［発明２０］
前記ステップ（ｆ）は更に、前記ファセットの頂点の色特性を計算することを備えた発明１４に記載の方法。
［発明２１］
前記ステップ（ｇ）は更に、
前記第１の前景ファセットと前記第１の背景ファセットとのための３Ｄから２Ｄへの透視変換を実行することと、
前記第１の背景ファセットの変換の結果を格納することと、
前記左視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算するシェーディング・ルーチンを実行することと、
前記左視野の、視聴者に不可視である部分を除去する隠れ面消去（ＨＳＲ）ルーチンを実行することと、
前記左視野のＨＳＲ処理の結果を格納することと
を備えた発明１４に記載の方法。
［発明２２］
前記ステップ（ｈ）は更に、
前記第２の前景ファセットのための３Ｄから２Ｄへの透視変換を実行することと、
前記第１の背景ファセットの変換の結果を用いることと、
前記右視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算するシェーディング・ルーチンを実行することと、
前記左視野のＨＳＲルーチンの結果を用いて、前記右視野の、視聴者に不可視である部分を除去することと、
前記右視野の、視聴者に可視である部分の輝度値を計算することと
を備えた発明２１に記載の方法。
［発明２３］
（ａ）第１のファセットを生成するために、左視野のビデオ・データの３Ｄモデルビュー変換を実行することと、
（ｂ）前記第１のファセットのうちの視聴者に対向する第１の複数のファセットを、前記第１のファセットのうちの前記視聴者に対向しない第２の複数のファセットから分離することと、
（ｃ）前記第１のファセットのうちの第２の複数のファセットを除外することと、
（ｄ）前記第１のファセットのうちの第１の複数のファセットにおいて、予め定められた奥行き閾値より手前に位置する要素に対応する第１の前景ファセットを、前記閾値より奥に位置する要素に対応する第１の背景ファセットから分離することと、
（ｅ）前記閾値より手前に位置する要素の第２の前景ファセットを選択的に生成するために、右視野のためのビデオ・データの３Ｄモデルビュー変換を実行することと、前記第１の背景ファセットを第２の背景ファセットとして用いることと、
（ｆ）前記第１の前景ファセットと、前記第１の背景ファセットと、前記第２の前景ファセットとのためのライティングを決定することと、
（ｇ）前記第１の前景ファセット及び前記第１の背景ファセットに基づいて、前記左視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと、
（ｈ）前記第２の前景ファセットに基づいて、前記右視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと
によって、コンピュータに、立体表示可能ディスプレイに３Ｄビデオ画像をレンダさせるための命令群を有するコンピュータ読取可能媒体を含むコンピュータ・プログラム製品。
［発明２４］
立体表示可能ディスプレイに３Ｄビデオ画像をレンダリングする装置であって、
立体表示可能ディスプレイと、
プロセッサと、
プロセッサに、
（ａ）ビデオ・データの３Ｄモデルビュー変換中、
視聴者に対向しないファセットを除外させ、
第１の視野のために、予め定められた奥行き閾値より手前に位置するシーン要素に対応する第１の前景ファセットと、前記閾値より奥に位置するシーン要素に対応する第１の背景ファセットとを定めさせ、
第２の視野のために、前記閾値より手前に位置するシーン要素に対応する第２の前景ファセットを選択的に定めさせ、第２の背景ファセットとして前記第１の背景ファセットを用いさせ、
（ｂ）前記第１の前景ファセットと、前記第１の背景ファセットと、前記第２の前景ファセットとのためのライティングを決定させ、
（ｃ）前記第１の前景ファセット及び前記第１の背景ファセットに基づいて、前記第１の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行させ、
（ｄ）前記第２の前景ファセット及び前記第１の背景ファセットに基づいて、前記第２の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行させるための命令群を有するプログラム・コードを格納するメモリと
を備えた装置。
［発明２５］
前記ステップ（ａ）乃至（ｄ）又はそれらの一部のうちの少なくとも２つが並行して又は同時に実行される発明２４に記載の装置。
［発明２６］
前記第１の視野が左視野であり、前記第２の視野が右視野である発明２４に記載の装置。
［発明２７］
前記第１の視野が右視野であり、前記第２の視野が左視野である発明２４に記載の装置。
［発明２８］
モバイル電話、モバイル・コンピュータ、ビデオ・ゲーム・プラットフォーム、又は携帯情報端末（ＰＤＡ）デバイスである発明２４に記載の装置。
［発明２９］
前記立体表示可能ディスプレイは、ステレオスコピック・ディスプレイ又はオートステレオスコピック・ディスプレイである発明２４に記載の装置。
［発明３０］
前記ステップ（ｂ）は更に、前記ファセットの頂点の色特性を計算することを備えた発明２４に記載の装置。
［発明３１］
前記ステップ（ｃ）は更に、
前記第１の前景ファセット及び前記第１の背景ファセットのための３Ｄから２Ｄへの透視変換を実行することと、
前記第１の背景ファセットの変換の結果を格納することと、
前記第１の視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算するシェーディング・ルーチンを実行することと、
前記第１の視野の、視聴者に不可視である部分を除去する隠れ面消去（ＨＳＲ）ルーチンを実行することと、
前記第１の視野のＨＳＲ処理の結果を格納することと
を備えた発明２４に記載の装置。
［発明３２］
前記ステップ（ｄ）は更に、
前記第２の前景ファセットのための３Ｄから２Ｄへの透視変換を実行することと、
前記第１の背景ファセットのために前記変換の結果を適合させることと、
前記第２の視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算するためのシェーディング・ルーチンを実行することと、
前記第１の視野のＨＳＲルーチンの結果を用いて、前記第２の視野の、視聴者に不可視である部分を除去することと、
前記第２の視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算することと
を備えた発明３１に記載の装置。
［発明３３］
立体表示可能ディスプレイに３Ｄビデオ画像をレンダリングする方法であって、
（ａ）第１の視野のビデオ・データの３Ｄモデルビュー変換中、
第１の前景ファセットと第１の背景ファセットとを決定することと、
（ｂ）第２の視野のビデオ・データの３Ｄモデルビュー変換中、
第２の前景ファセットと第２の背景ファセットとを決定することと、
前記第２の背景ファセットを除外することと、
前記第１の背景ファセットを用いることと、
（ｃ）前記第１及び第２の前景ファセットと前記第１の背景ファセットとのライティングを決定することと、
（ｄ）前記第１の前景ファセット及び前記第１の背景ファセットに基づいて、前記第１の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと、
（ｅ）前記第２の前景ファセット及び前記第１の背景ファセットに基づいて、前記第２の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと
を備えた方法。
［発明３４］
前記ステップ（ａ）乃至（ｅ）又はそれらの一部のうちの少なくとも２つが並行して又は同時に実行される発明３３に記載の方法。
［発明３５］
前記第１の視野が左視野であり、前記第２の視野が右視野である発明３３に記載の方法。
［発明３６］
前記第１の視野が右視野であり、前記第２の視野が左視野である発明３３に記載の方法。
［発明３７］
前記ステップ（ａ）は更に、
視聴者に対向しないファセットを除外することと、
予め定められた閾値より奥に位置するシーン要素に対応するファセットを除外することと
のうちの少なくとも１つを備える発明３３に記載の方法。
［発明３８］
立体表示可能ディスプレイに３Ｄビデオ画像をレンダリングする装置であって、
立体表示可能ディスプレイと、
プロセッサと、
プロセッサに、
（ａ）第１の視野のビデオ・データの３Ｄモデルビュー変換中、
第１の前景ファセットと第１の背景ファセットとを決定させ、
（ｂ）第２の視野のビデオ・データの３Ｄモデルビュー変換中、
第２の前景ファセットと第２の背景ファセットとを決定させ、
前記第２の背景ファセットを除外させ、
前記第１の背景ファセットを用いさせ、
（ｃ）前記第１の前景ファセットと前記第２の前景ファセットと前記第１の背景ファセットとのためのライティングを決定させ、
（ｄ）前記第１の前景ファセット及び前記第１の背景ファセットに基づいて、前記第１の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行させ、
（ｅ）前記第２の前景ファセット及び前記第１の背景ファセットに基づいて、前記第２の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行させるための命令群を有するプログラム・コードを格納するメモリと
を備えた装置。
［発明３９］
前記ステップ（ａ）乃至（ｅ）又はそれらの一部のうちの少なくとも２つが並行して又は同時に実行される発明３８に記載の装置。
［発明４０］
前記第１の視野が左視野であり、前記第２の視野が右視野である発明３８に記載の装置。
［発明４１］
前記第１の視野が右視野であり、前記第２の視野が左視野である発明３８に記載の装置。
［発明４２］
前記ステップ（ａ）は更に、
視聴者に対向しないファセットを除外することと、
予め定められた奥行き閾値より奥に位置するシーン要素に対応するファセットを除外することと
のうちの１つを備えた発明３８に記載の装置。

Claims (33)

  1. 立体表示可能ディスプレイ上に３Ｄビデオ画像をレンダリングする方法であって、
    （ａ）ビデオ・データの３Ｄモデルビュー変換中、
    第１の視野のために、視聴者に対向しないファセットを除外することと、
    前記第１の視野のために、予め定められた奥行き閾値より手前に位置するシーン要素に対応する残りのファセットを第１の前景ファセットとして分類し、前記閾値より奥に位置するシーン要素に対応する残りのファセットを第１の背景ファセットとして分類することと、
    第２の視野のために、前記閾値より手前に位置するシーン要素に対応する第２の前景ファセットを選択的に定め、前記第１の背景ファセットを第２の背景ファセットとして用いることと、
    （ｂ）前記第１の前景ファセットと、前記第１の背景ファセットと、前記第２の前景ファセットとのためのライティングを決定することと、
    （ｃ）前記第１の前景ファセット及び前記第１の背景ファセットに基づいて、前記第１の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと、
    （ｄ）前記第２の前景ファセット及び前記第１の背景ファセットに基づいて、前記第２の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと
    を備え、
    前記ステップ（ｂ）は更に、前記ファセットの頂点の色特性を計算することを備え、
    前記ステップ（ｃ）は更に、
    前記第１の前景ファセットと、前記第１の背景ファセットとのための３Ｄから２Ｄへの透視変換を実行することと、
    前記第１の背景ファセットの前記変換の結果を格納することと、
    前記第１の視野の、視聴者に対して可視である部分をレンダリングする画素の輝度値を計算するためのシェーディング・ルーチンを実行することと、
    前記第１の視野の、視聴者に対して不可視である部分を除去する隠れ面消去（ＨＳＲ）ルーチンを実行することと、
    前記第１の視野のＨＳＲ処理の結果を格納することと
    を備え、
    前記ステップ（ｄ）は更に、
    前記第２の前景ファセットのための３Ｄから２Ｄへの透視変換を実行することと、
    前記第１の背景ファセットのために前記変換の結果を適合させることと、
    前記第２の視野の、視聴者に対して可視である部分をレンダリングする画素の輝度値を計算するためのシェーディング・ルーチンを実行することと、
    前記第１の視野のＨＳＲルーチンの結果を用いて、前記第２の視野の、視聴者に対して不可視である部分を除去することと、
    前記第２の視野の、視聴者に対して可視である部分をレンダリングする画素の輝度値を計算することと
    を備えた、方法。
  2. 前記ステップ（ａ）乃至（ｄ）又はそれらの一部のうちの少なくとも２つが、並行に又は同時に実行される請求項１に記載の方法。
  3. 前記第１の視野が左視野であり、前記第２の視野が右視野である請求項１に記載の方法。
  4. 前記第１の視野が右視野であり、前記第２の視野が左視野である請求項１に記載の方法。
  5. 前記立体表示可能ディスプレイは、ステレオスコピック・ディスプレイである請求項１に記載の方法。
  6. アナグリフ画像を生成することを更に備えた請求項１に記載の方法。
  7. 前記立体表示可能ディスプレイは、オートステレオスコピック・ディスプレイである請求項６に記載の方法。
  8. 前記ディスプレイは、バッテリー駆動式デバイスの一部である請求項１に記載の方法。
  9. 前記バッテリー駆動式デバイスは、モバイル電話、モバイル・コンピュータ、ビデオ・ゲーム・プラットフォーム、又は携帯情報端末（ＰＤＡ）デバイスを備える請求項８に記載の方法。
  10. （ａ）ビデオ・データの３Ｄモデルビュー変換中、
    第１の視野のために、視聴者に対向しないファセットを除外することと、
    前記第１の視野のために、予め定められた奥行き閾値より手前に位置するシーン要素に対応する残りのファセットを第１の前景ファセットとして分類し、前記閾値より奥に位置するシーン要素に対応する残りのファセットを第１の背景ファセットとして分類することと、
    第２の視野のために、前記閾値より手前に位置するシーン要素に対応する第２の前景ファセットを選択的に定め、第２の背景ファセットとして前記第１の背景ファセットを用いることと、
    （ｂ）前記第１の前景ファセットと、前記第１の背景ファセットと、前記第２の前景ファセットとのためのライティングを決定することと、
    （ｃ）前記第１の前景ファセット及び前記第１の背景ファセットに基づいて、前記第１の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと、
    （ｄ）前記第２の前景ファセット及び前記第１の背景ファセットに基づいて、前記第２の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと
    によって、コンピュータに、３Ｄビデオ画像を立体表示可能ディスプレイにレンダさせるための命令群を有し、
    前記ステップ（ｂ）は更に、前記ファセットの頂点の色特性を計算することを備え、
    前記ステップ（ｃ）は更に、
    前記第１の前景ファセットと、前記第１の背景ファセットとのための３Ｄから２Ｄへの透視変換を実行することと、
    前記第１の背景ファセットの前記変換の結果を格納することと、
    前記第１の視野の、視聴者に対して可視である部分をレンダリングする画素の輝度値を計算するためのシェーディング・ルーチンを実行することと、
    前記第１の視野の、視聴者に対して不可視である部分を除去する隠れ面消去（ＨＳＲ）ルーチンを実行することと、
    前記第１の視野のＨＳＲ処理の結果を格納することと
    を備え、
    前記ステップ（ｄ）は更に、
    前記第２の前景ファセットのための３Ｄから２Ｄへの透視変換を実行することと、
    前記第１の背景ファセットのために前記変換の結果を適合させることと、
    前記第２の視野の、視聴者に対して可視である部分をレンダリングする画素の輝度値を計算するためのシェーディング・ルーチンを実行することと、
    前記第１の視野のＨＳＲルーチンの結果を用いて、前記第２の視野の、視聴者に対して不可視である部分を除去することと、
    前記第２の視野の、視聴者に対して可視である部分をレンダリングする画素の輝度値を計算することと
    を備えた、コンピュータ読取可能記憶媒体。
  11. 立体表示可能ディスプレイに３Ｄビデオ画像をレンダリングする方法であって、
    （ａ）第１のファセットを生成するために、左視野のビデオ・データの３Ｄモデルビュー変換を実行することと、
    （ｂ）前記第１のファセットのうちの視聴者に対向する第１の複数のファセットを、前記第１のファセットのうちの視聴者に対向しない第２の複数のファセットから分離することと、
    （ｃ）前記第１のファセットのうちの第２の複数のファセットを除外することと、
    （ｄ）前記第１のファセットのうちの第１の複数のファセットにおいて、予め定められた奥行き閾値より手前に位置する要素に対応する第１の前景ファセットを、前記閾値より奥に位置する要素に対応する第１の背景ファセットから分離することと、
    （ｅ）前記閾値より手前に位置する要素の第２の前景ファセットを選択的に生成するために、右視野のビデオ・データの３Ｄモデルビュー変換を実行し、第２の背景ファセットとして前記第１の背景ファセットを用いることと、
    （ｆ）前記第１の前景ファセットと、前記第１の背景ファセットと、前記第２の前景ファセットとのためのライティングを決定することと、
    （ｇ）前記第１の前景ファセット及び前記第１の背景ファセットに基づいて、前記左視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと、
    （ｈ）前記第２の前景ファセットに基づいて、前記右視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと
    を備え、前記ステップ（ｆ）は更に、前記ファセットの頂点の色特性を計算することを備え、
    前記ステップ（ｇ）は更に、
    前記第１の前景ファセットと前記第１の背景ファセットとのための３Ｄから２Ｄへの透視変換を実行することと、
    前記第１の背景ファセットの変換の結果を格納することと、
    前記左視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算するシェーディング・ルーチンを実行することと、
    前記左視野の、視聴者に不可視である部分を除去する隠れ面消去（ＨＳＲ）ルーチンを実行することと、
    前記左視野のＨＳＲ処理の結果を格納することと
    を備え、
    前記ステップ（ｈ）は更に、
    前記第２の前景ファセットのための３Ｄから２Ｄへの透視変換を実行することと、
    前記第１の背景ファセットの変換の結果を用いることと、
    前記右視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算するシェーディング・ルーチンを実行することと、
    前記左視野のＨＳＲルーチンの結果を用いて、前記右視野の、視聴者に不可視である部分を除去することと、
    前記右視野の、視聴者に可視である部分の輝度値を計算することと
    を備えた、方法。
  12. 前記ステップ（ａ）乃至（ｈ）又はそれらの一部のうちの少なくとも２つが並行して又は同時に実行される請求項１１に記載の方法。
  13. 前記立体表示可能ディスプレイは、ステレオスコピック・ディスプレイである請求項１１に記載の方法。
  14. アナグリフ画像を生成することを更に備えた請求項１１に記載の方法。
  15. 前記立体表示可能ディスプレイは、オートステレオスコピック・ディスプレイである請求項１４に記載の方法。
  16. 前記ディスプレイは、モバイル電話、モバイル・コンピュータ、ビデオ・ゲーム・プラットフォーム、又は携帯情報端末（ＰＤＡ）デバイスの一部である請求項１１に記載の方法。
  17. （ａ）第１のファセットを生成するために、左視野のビデオ・データの３Ｄモデルビュー変換を実行することと、
    （ｂ）前記第１のファセットのうちの視聴者に対向する第１の複数のファセットを、前記第１のファセットのうちの前記視聴者に対向しない第２の複数のファセットから分離することと、
    （ｃ）前記第１のファセットのうちの第２の複数のファセットを除外することと、
    （ｄ）前記第１のファセットのうちの第１の複数のファセットにおいて、予め定められた奥行き閾値より手前に位置する要素に対応する第１の前景ファセットを、前記閾値より奥に位置する要素に対応する第１の背景ファセットから分離することと、
    （ｅ）前記閾値より手前に位置する要素の第２の前景ファセットを選択的に生成するために、右視野のためのビデオ・データの３Ｄモデルビュー変換を実行することと、前記第１の背景ファセットを第２の背景ファセットとして用いることと、
    （ｆ）前記第１の前景ファセットと、前記第１の背景ファセットと、前記第２の前景ファセットとのためのライティングを決定することと、
    （ｇ）前記第１の前景ファセット及び前記第１の背景ファセットに基づいて、前記左視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと、
    （ｈ）前記第２の前景ファセットに基づいて、前記右視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと
    によって、コンピュータに、立体表示可能ディスプレイに３Ｄビデオ画像をレンダさせるための命令群を有し、
    前記ステップ（ｆ）は更に、前記ファセットの頂点の色特性を計算することを備え、
    前記ステップ（ｇ）は更に、
    前記第１の前景ファセットと前記第１の背景ファセットとのための３Ｄから２Ｄへの透視変換を実行することと、
    前記第１の背景ファセットの変換の結果を格納することと、
    前記左視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算するシェーディング・ルーチンを実行することと、
    前記左視野の、視聴者に不可視である部分を除去する隠れ面消去（ＨＳＲ）ルーチンを実行することと、
    前記左視野のＨＳＲ処理の結果を格納することと
    を備え、
    前記ステップ（ｈ）は更に、
    前記第２の前景ファセットのための３Ｄから２Ｄへの透視変換を実行することと、
    前記第１の背景ファセットの変換の結果を用いることと、
    前記右視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算するシェーディング・ルーチンを実行することと、
    前記左視野のＨＳＲルーチンの結果を用いて、前記右視野の、視聴者に不可視である部分を除去することと、
    前記右視野の、視聴者に可視である部分の輝度値を計算することと
    を備えた、コンピュータ読取可能記憶媒体。
  18. 立体表示可能ディスプレイに３Ｄビデオ画像をレンダリングする装置であって、
    立体表示可能ディスプレイと、
    プロセッサと、
    プロセッサに、
    （ａ）ビデオ・データの３Ｄモデルビュー変換中、
    視聴者に対向しない第１の視野のファセットを除外させ、
    予め定められた奥行き閾値より手前に位置するシーン要素に対応する前記第１の視野の残りのファセットを第１の前景ファセットとして分類し、前記閾値より奥に位置するシーン要素に対応する残りのファセットを第１の背景ファセットとして分類させ、
    前記閾値より手前に位置するシーン要素に対応する第２の前景ファセットを、第２の視野のために選択的に定めさせ、第２の背景ファセットとして前記第１の背景ファセットを用いさせ、
    （ｂ）前記第１の前景ファセットと、前記第１の背景ファセットと、前記第２の前景ファセットとのためのライティングを決定させ、
    （ｃ）前記第１の前景ファセット及び前記第１の背景ファセットに基づいて、前記第１の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行させ、
    （ｄ）前記第２の前景ファセット及び前記第１の背景ファセットに基づいて、前記第２の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行させるための命令群を有するプログラム・コードを格納するメモリと
    を備え、前記ステップ（ｂ）は更に、前記ファセットの頂点の色特性を計算することを備え、
    前記ステップ（ｃ）は更に、
    前記第１の前景ファセット及び前記第１の背景ファセットのための３Ｄから２Ｄへの透視変換を実行することと、
    前記第１の背景ファセットの変換の結果を格納することと、
    前記第１の視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算するシェーディング・ルーチンを実行することと、
    前記第１の視野の、視聴者に不可視である部分を除去する隠れ面消去（ＨＳＲ）ルーチンを実行することと、
    前記第１の視野のＨＳＲ処理の結果を格納することと
    を備え、
    前記ステップ（ｄ）は更に、
    前記第２の前景ファセットのための３Ｄから２Ｄへの透視変換を実行することと、
    前記第１の背景ファセットのために前記変換の結果を適合させることと、
    前記第２の視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算するためのシェーディング・ルーチンを実行することと、
    前記第１の視野のＨＳＲルーチンの結果を用いて、前記第２の視野の、視聴者に不可視である部分を除去することと、
    前記第２の視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算することと
    を備えた、装置。
  19. 前記、ステップ（ａ）乃至（ｄ）又はそれらの一部のうちの少なくとも２つが並行して又は同時に実行される請求項１８に記載の装置。
  20. 前記第１の視野が左視野であり、前記第２の視野が右視野である請求項１８に記載の装置。
  21. 前記第１の視野が右視野であり、前記第２の視野が左視野である請求項１８に記載の装置。
  22. モバイル電話、モバイル・コンピュータ、ビデオ・ゲーム・プラットフォーム、又は携帯情報端末（ＰＤＡ）デバイスである請求項１８に記載の装置。
  23. 前記立体表示可能ディスプレイは、ステレオスコピック・ディスプレイ又はオートステレオスコピック・ディスプレイである請求項１８に記載の装置。
  24. 立体表示可能ディスプレイに３Ｄビデオ画像をレンダリングする方法であって、
    （ａ）第１の視野のビデオ・データの３Ｄモデルビュー変換中、
    予め定められた奥行き閾値より手前に位置するシーン要素に対応するファセットを第１の前景ファセットとして分類し、前記閾値より奥に位置するシーン要素に対応するファセットを第１の背景ファセットとして分類することと、
    （ｂ）第２の視野のビデオ・データの３Ｄモデルビュー変換中、
    第２の前景ファセットと第２の背景ファセットとを決定することと、
    前記第２の背景ファセットを除外することと、
    前記第１の背景ファセットを第２の背景ファセットとして用いることと、
    （ｃ）前記第１及び第２の前景ファセットと前記第１の背景ファセットとのライティングを決定することと、
    （ｄ）前記第１の前景ファセット及び前記第１の背景ファセットに基づいて、前記第１の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと、
    （ｅ）前記第２の前景ファセット及び前記第１の背景ファセットに基づいて、前記第２の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと
    を備え、前記ステップ（ｃ）は更に、前記ファセットの頂点の色特性を計算することを備え、
    前記ステップ（ｃ）は更に、
    前記第１の前景ファセット及び前記第１の背景ファセットのための３Ｄから２Ｄへの透視変換を実行することと、
    前記第１の背景ファセットの変換の結果を格納することと、
    前記第１の視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算するシェーディング・ルーチンを実行することと、
    前記第１の視野の、視聴者に不可視である部分を除去する隠れ面消去（ＨＳＲ）ルーチンを実行することと、
    前記第１の視野のＨＳＲ処理の結果を格納することと
    を備え、
    前記ステップ（ｄ）は更に、
    前記第２の前景ファセットのための３Ｄから２Ｄへの透視変換を実行することと、
    前記第１の背景ファセットのために前記変換の結果を適合させることと、
    前記第２の視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算するためのシェーディング・ルーチンを実行することと、
    前記第１の視野のＨＳＲルーチンの結果を用いて、前記第２の視野の、視聴者に不可視である部分を除去することと、
    前記第２の視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算することと
    を備えた、方法。
  25. 前記ステップ（ａ）乃至（ｅ）又はそれらの一部のうちの少なくとも２つが並行して又は同時に実行される請求項２４に記載の方法。
  26. 前記第１の視野が左視野であり、前記第２の視野が右視野である請求項２４に記載の方法。
  27. 前記第１の視野が右視野であり、前記第２の視野が左視野である請求項２４に記載の方法。
  28. 前記ステップ（ａ）は更に、
    視聴者に対向しないファセットを除外することと、
    予め定められた閾値より奥に位置するシーン要素に対応するファセットを除外することと
    のうちの少なくとも１つを備える請求項２４に記載の方法。
  29. 立体表示可能ディスプレイに３Ｄビデオ画像をレンダリングする装置であって、
    立体表示可能ディスプレイと、
    プロセッサと、
    プロセッサに、
    （ａ）第１の視野のビデオ・データの３Ｄモデルビュー変換中、
    予め定められた奥行き閾値より手前に位置するシーン要素に対応するファセットを第１の前景ファセットとして分類し、前記閾値より奥に位置するシーン要素に対応するファセットを第１の背景ファセットとして分類させ、
    （ｂ）第２の視野のビデオ・データの３Ｄモデルビュー変換中、
    第２の前景ファセットと第２の背景ファセットとを決定させ、
    前記第２の背景ファセットを除外させ、
    前記第１の背景ファセットを第２の背景ファセットとして用いさせ、
    （ｃ）前記第１の前景ファセットと前記第２の前景ファセットと前記第１の背景ファセットとのためのライティングを決定させ、
    （ｄ）前記第１の前景ファセット及び前記第１の背景ファセットに基づいて、前記第１の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行させ、
    （ｅ）前記第２の前景ファセット及び前記第１の背景ファセットに基づいて、前記第２の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行させるための命令群を有するプログラム・コードを格納するメモリと
    を備え、前記ステップ（ｃ）は更に、前記ファセットの頂点の色特性を計算することを備え、
    前記ステップ（ｃ）は更に、
    前記第１の前景ファセット及び前記第１の背景ファセットのための３Ｄから２Ｄへの透視変換を実行することと、
    前記第１の背景ファセットの変換の結果を格納することと、
    前記第１の視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算するシェーディング・ルーチンを実行することと、
    前記第１の視野の、視聴者に不可視である部分を除去する隠れ面消去（ＨＳＲ）ルーチンを実行することと、
    前記第１の視野のＨＳＲ処理の結果を格納することと
    を備え、
    前記ステップ（ｄ）は更に、
    前記第２の前景ファセットのための３Ｄから２Ｄへの透視変換を実行することと、
    前記第１の背景ファセットのために前記変換の結果を適合させることと、
    前記第２の視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算するためのシェーディング・ルーチンを実行することと、
    前記第１の視野のＨＳＲルーチンの結果を用いて、前記第２の視野の、視聴者に不可視である部分を除去することと、
    前記第２の視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算することと
    を備えた、装置。
  30. 前記ステップ（ａ）乃至（ｅ）又はそれらの一部のうちの少なくとも２つが並行して又は同時に実行される請求項２９に記載の装置。
  31. 前記第１の視野が左視野であり、前記第２の視野が右視野である請求項２９に記載の装置。
  32. 前記第１の視野が右視野であり、前記第２の視野が左視野である請求項２９に記載の装置。
  33. 前記ステップ（ａ）は更に、
    視聴者に対向しないファセットを除外することと、
    予め定められた奥行き閾値より奥に位置するシーン要素に対応するファセットを除外することと
    のうちの１つを備えた請求項２９に記載の装置。
JP2012004619A 2007-01-05 2012-01-13 立体表示可能ディスプレイにおける３ｄビデオ画像のレンダリング Expired - Fee Related JP5536115B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/620,621 US7982733B2 (en) 2007-01-05 2007-01-05 Rendering 3D video images on a stereo-enabled display
US11/620,621 2007-01-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2009544959A Division JP2010515974A (ja) 2007-01-05 2008-01-02 立体表示可能ディスプレイにおける３ｄビデオ画像のレンダリング

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013229813A Division JP2014063501A (ja) 2007-01-05 2013-11-05 立体表示可能ディスプレイにおける３ｄビデオ画像のレンダリング

Publications (2)

Publication Number Publication Date
JP2012104144A JP2012104144A (ja) 2012-05-31
JP5536115B2 true JP5536115B2 (ja) 2014-07-02

Family

ID=39311082

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2009544959A Withdrawn JP2010515974A (ja) 2007-01-05 2008-01-02 立体表示可能ディスプレイにおける３ｄビデオ画像のレンダリング
JP2012004619A Expired - Fee Related JP5536115B2 (ja) 2007-01-05 2012-01-13 立体表示可能ディスプレイにおける３ｄビデオ画像のレンダリング
JP2013229813A Withdrawn JP2014063501A (ja) 2007-01-05 2013-11-05 立体表示可能ディスプレイにおける３ｄビデオ画像のレンダリング

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2009544959A Withdrawn JP2010515974A (ja) 2007-01-05 2008-01-02 立体表示可能ディスプレイにおける３ｄビデオ画像のレンダリング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2013229813A Withdrawn JP2014063501A (ja) 2007-01-05 2013-11-05 立体表示可能ディスプレイにおける３ｄビデオ画像のレンダリング

Country Status (7)

Country Link
US (1) US7982733B2 (ja)
EP (1) EP2122576A1 (ja)
JP (3) JP2010515974A (ja)
KR (1) KR101065230B1 (ja)
CN (2) CN105678836A (ja)
TW (1) TW200842759A (ja)
WO (1) WO2008086049A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080182647A1 (en) * 2007-01-26 2008-07-31 Cyberview Technology, Inc. 3D rendering of 2D legacy game assets
EP2235957A1 (en) * 2007-12-20 2010-10-06 Koninklijke Philips Electronics N.V. Image encoding method for stereoscopic rendering
US20100328428A1 (en) * 2009-06-26 2010-12-30 Booth Jr Lawrence A Optimized stereoscopic visualization
US8659592B2 (en) * 2009-09-24 2014-02-25 Shenzhen Tcl New Technology Ltd 2D to 3D video conversion
KR101631514B1 (ko) * 2009-11-19 2016-06-17 삼성전자주식회사 전자기기에서 3차원 컨텐츠 생성 방법 및 장치
EP2528334A4 (en) * 2010-01-22 2014-01-15 Sony Corp RECEIVING DEVICE, SENDING DEVICE, COMMUNICATION SYSTEM, METHOD FOR CONTROLLING THE RECEIVER AND PROGRAM
KR101090981B1 (ko) * 2011-05-09 2011-12-08 주식회사 쓰리디누리 3차원 영상신호 처리방법 및 이를 구현하는 휴대형 3차원 디스플레이 장치
US8860716B2 (en) * 2010-10-13 2014-10-14 3D Nuri Co., Ltd. 3D image processing method and portable 3D display apparatus implementing the same
CN102812497B (zh) * 2011-03-03 2016-06-08 松下知识产权经营株式会社 能够提供随后体验影像的影像提供装置、影像提供方法
US9578299B2 (en) 2011-03-14 2017-02-21 Qualcomm Incorporated Stereoscopic conversion for shader based graphics content
US8797620B2 (en) 2011-12-20 2014-08-05 Ergophos, Llc Autostereoscopic display assembly based on digital semiplanar holography
CN102819400A (zh) * 2012-08-14 2012-12-12 北京小米科技有限责任公司 一种移动终端的桌面***及界面交互方法、装置
WO2015142936A1 (en) * 2014-03-17 2015-09-24 Meggitt Training Systems Inc. Method and apparatus for rendering a 3-dimensional scene
CN103995926B (zh) * 2014-05-15 2017-05-24 广东壮丽彩印股份有限公司 立体印刷无跳变图案的制作方法
US9946361B2 (en) * 2014-08-14 2018-04-17 Qualcomm Incorporated Management for wearable display
KR102341267B1 (ko) 2015-05-04 2021-12-20 삼성전자주식회사 양안 시차 영상에 대한 렌더링 방법 및 장치
US9892141B2 (en) * 2015-12-10 2018-02-13 Microsoft Technology Licensing, Llc Extensibility of collectable data structures
EP3223524A1 (en) 2016-03-22 2017-09-27 Thomson Licensing Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US10366536B2 (en) * 2016-06-28 2019-07-30 Microsoft Technology Licensing, Llc Infinite far-field depth perception for near-field objects in virtual environments
US9978118B1 (en) 2017-01-25 2018-05-22 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with data compression
US10242654B2 (en) 2017-01-25 2019-03-26 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations
US10514753B2 (en) 2017-03-27 2019-12-24 Microsoft Technology Licensing, Llc Selectively applying reprojection processing to multi-layer scenes for optimizing late stage reprojection power
US10410349B2 (en) 2017-03-27 2019-09-10 Microsoft Technology Licensing, Llc Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power
US10255891B2 (en) 2017-04-12 2019-04-09 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with multiple LSR processing engines
KR102658690B1 (ko) * 2019-11-04 2024-04-17 엘지전자 주식회사 이미지 변환 방법 및 장치
KR102466004B1 (ko) * 2022-05-11 2022-11-11 (주)라인테크 딥러닝 기술을 이용한 차선 도색시스템

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10232953A (ja) 1997-02-20 1998-09-02 Mitsubishi Electric Corp 立体視画像生成装置
US6525699B1 (en) * 1998-05-21 2003-02-25 Nippon Telegraph And Telephone Corporation Three-dimensional representation method and an apparatus thereof
JP3081589B2 (ja) * 1998-10-02 2000-08-28 日本電信電話株式会社 三次元表示方法および装置
US6771264B1 (en) 1998-08-20 2004-08-03 Apple Computer, Inc. Method and apparatus for performing tangent space lighting and bump mapping in a deferred shading graphics processor
US6366370B1 (en) * 1998-12-30 2002-04-02 Zebra Imaging, Inc. Rendering methods for full parallax autostereoscopic displays
US6559844B1 (en) * 1999-05-05 2003-05-06 Ati International, Srl Method and apparatus for generating multiple views using a graphics engine
US6501471B1 (en) * 1999-12-13 2002-12-31 Intel Corporation Volume rendering
US20020154214A1 (en) 2000-11-02 2002-10-24 Laurent Scallie Virtual reality game system using pseudo 3D display driver
CN1358032A (zh) * 2000-12-14 2002-07-10 艾派克科技股份有限公司 可产生立体感的视频信号显示***
JP4729812B2 (ja) 2001-06-27 2011-07-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
CA2361341A1 (en) 2001-11-07 2003-05-07 Idelix Software Inc. Use of detail-in-context presentation on stereoscopically paired images
JP4467267B2 (ja) * 2002-09-06 2010-05-26 株式会社ソニー・コンピュータエンタテインメント 画像処理方法、画像処理装置、および画像処理システム
GB2394850A (en) 2002-10-29 2004-05-05 Nec Technologies A cell phone that can take stereo images
JP2005353047A (ja) * 2004-05-13 2005-12-22 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
JP2006041811A (ja) * 2004-07-26 2006-02-09 Kddi Corp 自由視点画像ストリーミング方式
JP2006128816A (ja) * 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
US20070002130A1 (en) 2005-06-21 2007-01-04 David Hartkop Method and apparatus for maintaining eye contact during person-to-person video telecommunication
KR100759393B1 (ko) 2005-06-29 2007-09-19 삼성에스디아이 주식회사 패럴랙스 배리어 및 이를 구비한 입체 영상 표시장치

Also Published As

Publication number Publication date
WO2008086049A1 (en) 2008-07-17
CN101583976A (zh) 2009-11-18
JP2014063501A (ja) 2014-04-10
JP2012104144A (ja) 2012-05-31
US20080165181A1 (en) 2008-07-10
JP2010515974A (ja) 2010-05-13
KR101065230B1 (ko) 2011-09-16
US7982733B2 (en) 2011-07-19
EP2122576A1 (en) 2009-11-25
TW200842759A (en) 2008-11-01
KR20090085704A (ko) 2009-08-07
CN105678836A (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
JP5536115B2 (ja) 立体表示可能ディスプレイにおける３ｄビデオ画像のレンダリング
CN103096106B (zh) 图像处理设备和方法
CN109660783B (zh) 虚拟现实视差校正
KR101697184B1 (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
US9064346B2 (en) Hierarchical based 3D image processor, method, and medium
CN101605270B (zh) 生成深度图的方法和装置
US9154762B2 (en) Stereoscopic image system utilizing pixel shifting and interpolation
WO2020039166A1 (en) Method and system for reconstructing colour and depth information of a scene
CN101873509B (zh) 消除深度图序列背景和边缘抖动的方法
CN105144234A (zh) 使用与示例相似图像相关联的示例近似深度映射图对输入图像生成深度映射图
JP2015156607A (ja) 画像処理装置、画像処理装置、及び電子機器
US10979690B1 (en) Systems and methods for using depth information to extrapolate two-dimensional images
US9165393B1 (en) Measuring stereoscopic quality in a three-dimensional computer-generated scene
US20120176367A1 (en) Morphological anti-aliasing (mlaa) of a re-projection of a two-dimensional image
WO2022156451A1 (zh) 一种渲染方法及装置
US11416964B2 (en) Method and device for adjusting resolution of HMD apparatus
WO2007017834A2 (en) Disparity value generator
CN112991507A (zh) 图像生成***和方法
US20130342536A1 (en) Image processing apparatus, method of controlling the same and computer-readable medium
Cheng et al. 51.3: An Ultra‐Low‐Cost 2‐D/3‐D Video‐Conversion System
US9077963B2 (en) Systems and methods for generating a depth map and converting two-dimensional data to stereoscopic data
KR101978176B1 (ko) 영상 처리 장치 및 방법
Mansoor et al. A Layered Approach for Quality Assessment of DIBR‐Synthesized Images
US8253737B1 (en) System, method, and computer program product for generating a disparity map
WO2023235273A1 (en) Layered view synthesis system and method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130305

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130510

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130702

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131105

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20131113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131217

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140423

R150 Certificate of patent or registration of utility model

Ref document number: 5536115

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees