JP5615493B2 - デュアルディスプレイ装置 - Google Patents

デュアルディスプレイ装置 Download PDF

Info

Publication number
JP5615493B2
JP5615493B2 JP2008514275A JP2008514275A JP5615493B2 JP 5615493 B2 JP5615493 B2 JP 5615493B2 JP 2008514275 A JP2008514275 A JP 2008514275A JP 2008514275 A JP2008514275 A JP 2008514275A JP 5615493 B2 JP5615493 B2 JP 5615493B2
Authority
JP
Japan
Prior art keywords
image
display
display device
input
dual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008514275A
Other languages
English (en)
Other versions
JP2008546018A (ja
Inventor
ナリア レイマン
ナリア レイマン
ゲルベン ジェイ ヘクストラ
ゲルベン ジェイ ヘクストラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2008546018A publication Critical patent/JP2008546018A/ja
Application granted granted Critical
Publication of JP5615493B2 publication Critical patent/JP5615493B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406Control of illumination source
    • G09G3/342Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines
    • G09G3/3426Control of illumination source using several illumination sources separately controlled corresponding to different display panel areas, e.g. along one dimension such as lines the different display panel areas being distributed in two dimensions, e.g. matrix
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007Display of intermediate tones
    • G09G3/2011Display of intermediate tones by amplitude modulation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/02Composition of display devices
    • G09G2300/023Display panel composed of stacked panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Liquid Crystal (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Digital Computer Display Output (AREA)

Description

本発明は、入力ディジタル語を有する入力画像を表示するためのデュアルディスプレイ装置であって、前記デュアルディスプレイは第1のディスプレイ、第2のディスプレイ及び画像スプリッタを有し、前記第1のディスプレイは前記第2のディスプレイからの画像を変調するように構成されたデュアルディスプレイ装置に関する。
本発明は更に、入力画像を表示するための方法及びコンピュータプログラムに関する。
従来のディスプレイ装置を介して観測される画像は、現実世界において観測される同一の画像からは明確に区別されることができる。このことは、実世界において画像を観る光学的な感覚を生成するためには一般に不十分な、従来のディスプレイのダイナミックレンジによる。より実物に似た印象を持つ画像を生成するため、画像拡張方法が開発されてきた。それにもかかわらず、従来のディスプレイ装置のダイナミックレンジにおける限界は、拡張された画像さえもが、実世界の画像と同一に知覚されることを妨げている。
Seetzenらによる「High dynamic range display systems」と題された論文(ACM SIGGRAPH 2004)において、高いダイナミックレンジのディスプレイシステムの2つの設計が開示されている。該論文においては、画像を表示するための強度レベルの増大されたダイナミックレンジを利用することが可能な、2つの異なるデュアルディスプレイシステムが示されている。該増大されたダイナミックレンジは、実世界において同一の画像を観ることに、より類似した表示画像の知覚を提供する。該デュアルディスプレイシステムは、画素化されたバックライト及びLCD前面パネルを有する。該ディスプレイシステムのダイナミックレンジは、LCDパネルのダイナミックレンジと画素化されたバックライトのダイナミックレンジとの積に略等しい。該開示されたデュアルディスプレイシステムにおいては、グラフィクス処理ユニットが、正規化された入力画像データの平方根をとることにより、入力画像データを2つの略同一な画像へと分割する。該グラフィクス処理ユニットは次いで、これら2つの略同一な画像を、好ましくはガンマ補正及び/又はバックライト補正の後に、画素化されたバックライト及びLCD前面パネルの双方へと送信する。
Seetzenらにより提案された高ダイナミックレンジのディスプレイシステムは、電力消費の点で最適化されていない。
本発明の目的は、電力消費が低減されたデュアルディスプレイ装置を提供することにある。
本発明の第1の態様によれば、本目的は、画像スプリッタが、レティネクス(retinex)アルゴリズムによって入力画像を照射画像と反射画像とに分割するように構成された、デュアルディスプレイ装置によって達成される。前記照射画像は、動作中、第2のディスプレイに供給される照射ディジタル語から構成される。前記反射画像は、動作中、第1のディスプレイに供給される反射ディジタル語から構成される。
本発明による方法の効果は、レティネクスアルゴリズムを利用した入力画像の分割が、照射ディジタル語の光強度値が入力ディジタル語に比べて空間的に滑らかに変化する照射画像に帰着する点である。ディジタル語は、ディジタル言語の単一の単位であり、各ディジタル語は画像の画素の明るさ及び色を定義する。照射画像は、入力画像から導出される、空間的に低い解像度の画像と考えられ得る。照射画像は、第1のディスプレイに対するバックライトユニットとみなされ得る第2のディスプレイへと供給される。それ故、第1のディスプレイは、観測者と第2のディスプレイとの間に配置される。空間的に低い解像度の照射画像を用いて第2のディスプレイを駆動する場合には一般に、先行技術において行われているような、入力画像と略同一の画像を用いて第2のディスプレイを駆動する場合に比べて、少ない電力が第2のディスプレイにおいて損失される。このことは例えば、照射画像を得るために利用される空間平滑化演算が、画像の光強度値を局所的に平滑化し、全体の画像について光強度の低い平均に導くという事実による。デュアルディスプレイ装置の電力損失の主な部分は画素化されたバックライトにおいて発生するため、画素化されたバックライトにおける電力損失の低減が、デュアルディスプレイ装置の全体の電力消費の低減に帰着する。
レティネクスアルゴリズムは、Land及びMcCannにより1971年に導入され(「Lightness and Retinex theory」、J. of the Optical Soc. Of America、Vol. 61、No. 1、1971年1月)、それ以来多くの異なる用途において画像操作アルゴリズムとして利用されてきた。レティネクスアルゴリズムは、画像を、周囲照射(照射画像とも呼ばれる)と対象反射(反射画像とも呼ばれる)との画素毎の積として定義する。画像の周囲照射においては、光強度の画素ごとの変化は滑らかに変化し、それ故周囲照射は一般に画像の空間的に低い解像度のバージョンである。対象反射は例えば、周囲照射による画像の画素毎の除算によって算出されることができる。一般に、レティネクスアルゴリズムは、例えば周囲照射が光強度値の低い空間的変化を利用して圧縮されるような、画像データ圧縮のために利用される。本発明者は、レティネクスアルゴリズムが、一般的なデータ圧縮用途に次いで、デュアルディスプレイ装置の電力消費の低減を達成するために、デュアルディスプレイ装置において有益に利用され得ることを認識した。
本発明による方法の更なる利点は、レティネクスアルゴリズムを利用した入力画像の分割が、デュアルディスプレイ装置の視角特性を改善する点である。デュアルディスプレイ装置は、反射ディジタル語による第1のディスプレイの画素のプログラムされた透明度を用いて、照射ディジタル語により第2のディスプレイの画素により発射された光強度をフィルタリングすることにより、入力画像を再構築する。ここで強度とは、画素の明るさ及び色を意味する。第1のディスプレイに対する視角が略垂直である場合には、第1のディスプレイの特定の画素は、例えば第2のディスプレイの第1の画素に整合される。視角が変化すると、第1のディスプレイの該画素は、第2のディスプレイの第1の画素とは整合しなくなり、例えば第1の画素に隣接する画素である第2のディスプレイの第2の画素と整合し得る。このことは、デュアルディスプレイシステムの視誤差(parallax error)としても知られる、入力画像の再構築における誤差に導き得る。視誤差は、第1のディスプレイに対する視角に依存する。入力画像がレティネクスアルゴリズムを用いて第1のディスプレイと第2のディスプレイとの間で分割される場合には、第2のディスプレイにおける光強度値は、空間的により滑らかに変化する。このことは、第2のディスプレイにおける第1の画素により発射された光強度と第2の画素により発射された光強度との間の差が、比較的小さいことを意味する。かくして、レティネクスアルゴリズムを利用する場合には、第2のディスプレイの第1の画素の代わりに第2のディスプレイの第2の画素と、第1のディスプレイの特定の画素とを結合することによる入力画像の再構築における誤差は比較的小さく、一般に視誤差を低減させる。
本発明による特徴の更なる利点は、デュアルディスプレイ装置において第1の画像と第2の画像とに入力画像を分割するためにレティネクスアルゴリズムを適用することにより、入力画像に存在しない付加的な輝度レベルが生成される点である。従来のディスプレイのダイナミックレンジは典型的には8ビットであり、従来のディスプレイにより表示され得る256個の異なる輝度レベル(グレイレベルとも呼ばれる)に帰着する。デュアルディスプレイ装置のダイナミックレンジは理論的には、例えば第1及び第2のディスプレイが共に8ビットのダイナミックレンジを持つ場合には、16ビット(65536個の輝度レベル)である。第1のディスプレイが第2のディスプレイからの画像を変調するように構成されるという事実のため、第1及び第2のディスプレイの構成は、照射画像と反射画像とのハードウェア的な乗算とみなすことができる。本発明によるデュアルディスプレイ装置は、入力画像を照射画像と反射画像とに分割するためのレティネクスアルゴリズムを実行する画像スプリッタを有する。デュアルディスプレイ装置の第2のディスプレイに表示される照射画像は、デュアルディスプレイ装置の第1のディスプレイに表示される反射画像とは異なる。第2のディスプレイからの画像を変調する第1のディスプレイを介した再結合はかくして、表示画像において、入力画像に存在していなかったグレイレベルが表示画像において表示されることに導き、中間のグレイレベルが生成される。かくして、入力画像を照射画像と反射画像とに分割するためにレティネクスアルゴリズムを実行することにより、デュアルディスプレイ装置に表示される画像が、入力画像よりも多くのグレイレベルを有する。
それに対して、既知のデュアルディスプレイ装置は、正規化された入力画像データの平方根をとることにより、入力画像データを2つの略同一な画像へと分割するグラフィクス処理ユニットを有する。2つの略同一な画像の正規化されたデータは、第1のディスプレイ及び第2のディスプレイに表示される8ビットの画像に変換され、先行技術における表示画像が得られる。先行技術の表示画像は一般に、デュアルディスプレイ装置により表示され得る最低のグレイレベルと、デュアルディスプレイ装置により表示され得る最高のグレイレベルとの間に、増大されたグレイレベル範囲を有する。該グレイレベル範囲は、255個の異なるとり得るグレイレベルから、65535個の異なるとり得るグレイレベルへと増大させられる。しかしながら、デュアルディスプレイ装置の第1及び第2のディスプレイにおける2つの略同一な画像の表示により、第2のディスプレイからの画像を変調する第1のディスプレイを介した再結合は依然として、入力画像において存在していたような、256個の異なるグレイレベルを略有する。
本システムの実施例においては、画像スプリッタが、入力ディジタル語から照射ディジタル語を生成するための、空間ローパスフィルタを有する。空間ローパスフィルタは比較的容易に適用され得るため、レティネクスアルゴリズムを実行するためのデュアルディスプレイ装置の計算時間が低減され得る。計算時間の低減は例えば、レティネクスアルゴリズムが、ビデオストリームに対してより容易に適用されることを可能とし得る。
本システムの実施例においては、ディジタル語は、併せて画素の輝度及び色を定義する、サブ語の群を有する。デュアルディスプレイ装置は、入力ディジタル語を、画素の輝度を表す輝度サブ語と、画素の色を表す色サブ語とに分割するための語スプリッタを有する。画像スプリッタは、レティネクスアルゴリズムを輝度サブ語のみに適用するように構成される。入力画像は、表示されるべき画像の関連する画素の輝度及び色を併せて定義するサブ語の群をそれぞれが有する、入力ディジタル語のストリームを有する。
例えば、入力ディジタル語は、RGBサブ語の群により構成されても良い。RGBサブ語は、RGB色空間の三原色の光強度値を表す。RGBサブ語の群は、第1の原色(例えば赤色の原色)の光強度値を表す第1のサブ語を有する。RGBサブ語の群は更に、第2の原色(例えば緑色の原色)の光強度値を表す第2のサブ語を有する。RGBサブ語の群はまた、第3の原色(例えば青色の原色)の光強度値を表す第3のサブ語を有する。レティネクスアルゴリズムが、例えばRGB色空間を定義するRGBサブ語の群により構成される入力画像に適用された場合、不自然な色効果に帰着し得る。
それ故、本発明によるシステムの好適な実施例においては、デュアルディスプレイ装置が、RGB色空間から、例えばYUV色空間へと入力画像を変換するように構成される。RGBサブ語の群は、RGBサブ語の群の全体の輝度を表す輝度サブ語であるY値に変換され、またRGBサブ語の群の色成分を表す色サブ語であるU及びV値に変換される。本発明によるシステムの他の好適な実施例においては、デュアルディスプレイ装置が、RGB色空間から、例えばHSV色空間へと入力画像を変換するように構成される。RGBサブ語の群は、RGBサブ語の群の全体の輝度を表す輝度サブ語であるV値(Value)に変換され、またRGBサブ語の群の色成分を表す色サブ語であるS及びH値(それぞれSaturation(彩度)及びHue(色相))に変換される。レティネクスアルゴリズムを入力画像の輝度サブ語(例えばYUV色空間におけるY値又はHSV色空間におけるV値)のみに適用することにより、色アーティファクトが回避される。入力画像の輝度情報及び色情報への分割に帰着する当業者に知られた他の分割アルゴリズムも、本発明の範囲から逸脱することなく適用され得る。
本システムの実施例において、デュアルディスプレイ装置は更に、第1のディスプレイに供給される前に反射画像に対して細部強調(detail enhancement)アルゴリズムを実行するための、細部強調器を有する。例えば(非)線形再マッピング、画像鮮明化、ガンマ補正等のような細部強調アルゴリズムはそれ自体、本分野において良く知られている。レティネクスアルゴリズムによる入力画像の分割により、既知の細部強調アルゴリズムが反射画像に対して実行されることができ、一方で画像内の全体の照射変化が略保存される。このことは一般により鮮明な画像に帰着し、一方で元の画像の明るさの変化は略保存される。
本システムの好適な実施例においては、細部強調器はヒストグラム等化を実行する。ヒストグラム等化は一般に、所定のアルゴリズムによって画像中の利用可能なグレイレベルを再分散させ、ディスプレイにより表示され得るグレイレベルの範囲に亘る、前記利用可能なグレイレベルの改善された分散を得る。反射画像に対してヒストグラム等化を実行する場合には、反射画像内のグレイレベルは、再分散により変化させられる。第2のディスプレイからの画像を変調する第1のディスプレイを介して反射画像を照射画像と結合することにより、入力画像には存在していなかった多くの新たなグレイレベルがデュアルディスプレイ装置により表示される。かくして、レティネクスアルゴリズムによって入力画像を照射画像と反射画像とに分割し、次いで反射画像に対してヒストグラム等化を実行することは、入力画像のグレイレベルに比べて多くのグレイレベルを表示画像に生成し、デュアルディスプレイ装置のダイナミックレンジの改善された利用に帰着する。
本システムの実施例において、デュアルディスプレイ装置は更に、第2のディスプレイに供給される前に照射画像に対してコントラスト強調アルゴリズム(contrast enhancement)を実行するための、コントラスト強調器を有する。コントラスト強調アルゴリズムはそれ自体、本分野において良く知られている。レティネクスアルゴリズムによる入力画像の分割により、可能な細部強調アルゴリズムとは別に、入力画像に対して既知のコントラスト強調アルゴリズムが実行されることができる。
本システムの好適な実施例においては、コントラスト強調器はヒストグラム等化を実行する。照射画像に対してヒストグラム等化を実行する場合には、照射画像内のグレイレベルは、再分散により変化させられる。第2のディスプレイからの画像を変調する第1のディスプレイを介して照射画像を反射画像と結合することにより、入力画像には存在していなかった多くの新たなグレイレベルがデュアルディスプレイ装置により表示される。かくして、レティネクスアルゴリズムによって入力画像を照射画像と反射画像とに分割し、次いで照射画像に対してヒストグラム等化を実行することは、入力画像のグレイレベルに比べて多くのグレイレベルを表示画像に生成し、デュアルディスプレイ装置のダイナミックレンジの改善された利用に帰着し、従って表示画像の改善された品質に帰着する。
本システムの実施例において、第1のディスプレイは第1の空間解像度を持ち、第2のディスプレイは前記第1の空間解像度よりも低い第2の空間解像度を持つ。空間的に低い解像度のディスプレイのコストは、一般に空間的に高い解像度のディスプレイのコストよりも低い。照射画像は空間的に低い解像度の画像であるため、照射画像は、表示されるべき照射画像の品質に大きな影響を与えることなく、空間的に低い解像度の画像に表示されることができる。かくして、低い空間解像度を持つディスプレイを第2のディスプレイとして利用することは一般に、表示画像の品質に大きな影響を与えることなく、デュアルディスプレイ装置のコストを低減させる。
本発明のこれらの及び他の態様は、以下に記載される実施例を参照しながら説明され、明らかとなるであろう。
図面は単に図式的なものであって、定縮尺で描かれたものではない。特に明確さのため、幾つかの次元が大きく強調されている。図面中の類似する構成要素は、可能な限り、同一の参照番号により示される。
図1A乃至1Dは、本発明によるデュアルディスプレイ装置の実施例DD1及びDD2の平面図を示す。デュアルディスプレイ装置DD1及びDD2は、第2のディスプレイD2及びD3からの画像を変調するための、プログラム可能な透明度を持つ光学フィルタとして構成された、第1のディスプレイD1を有する。デュアルディスプレイ装置DD1及びDD2は更に、デュアルディスプレイ装置DD1及びDD2に表示されるべき入力画像Iを処理するプロセッサPr1を有する。
図1Aは、液晶ディスプレイ(LCD)パネルD1の図式的な表現である、第1のディスプレイD1を示す。LCDパネルD1は、LCD画素Pf1のアレイを有し、ここで各LCD画素Pf1は例えば3つのサブ画素(図示されていない)を有する。各サブ画素は、液晶セル及び色フィルタを有する。1つのLCD画素Pf1内のサブ画素の色フィルタは好ましくは異なる色を透過させ、一般に標準的な色域(例えばEBU又はNTSC色規格)内の略全ての色が、関連する色フィルタと組み合わせて全ての液晶セルについて特定の透明度を選択することにより生成され得るように選択される。LCDパネルD1の各液晶セルは例えば、LCDパネルD1の8ビットのダイナミックレンジと等価である、8ビットの(256個の)異なる透明度レベルを区別する。表面積当たりのLCD画素Pf1の数が、LCDパネルD1の空間解像度を決定する。
図1Bは、例えば発光ダイオード(LED)パネルD2のような光源のアレイを有するパネルの図式的な表現である、第2のディスプレイD2を示す。LEDパネルD2は、略白色の光を発する、LED(Pb1、Pb2)のアレイを有する。図1Bに示された例においては、LEDパネルD2におけるLED(Pb1、Pb2)の数は、LCDパネルD1におけるLCD画素Pf1の数に等しく、これによりLEDパネルD2は、LCDパネルD1と同一の空間解像度を持つ。代替の設計は、LEDパネルD2の空間解像度が、LCDパネルD1の空間解像度よりも低いLEDパネルD2を有しても良い。LEDパネルD2における各LED(Pb1、Pb2)は例えば、アドレス可能な8ビットの(256個の)異なる発光強度レベルを区別し、LEDパネルD2の8ビットのダイナミックレンジに帰着する。
図1Cは、本発明によるデュアルディスプレイ装置の実施例DD1を示す。LCDパネルD1は、LEDパネルD2と観測者(図示されていない)との間に配置される。LCD画素Pf1(図1A)は、LEDパネルD2のLED(Pb1、Pb2)と整合され、これにより1つのLED(Pb1)が関連するLCD画素Pf1を略介して光を観測者に向けて発する。デュアルディスプレイ装置DD1は更に、入力画像Iを受信し、入力画像Iをデュアルディスプレイ装置DD1において表示するために入力画像Iを処理する、プロセッサPr1を有する。プロセッサPr1は、入力画像Iを照射画像Iiと反射画像Irとに分割するための画像スプリッタSpを有する。画像スプリッタSpは、入力画像Iをレティネクスアルゴリズムによって分割するように構成される。図1Cに示された実施例においては、前記プロセッサは更に、反射画像IrがLCDパネルD1において表示される前に、第1のディスプレイD1の逆応答関数を用いて反射画像Irを補正する、第1のガンマ回路γ1を有する。前記プロセッサはまた、照射画像IiがLEDパネルD2において表示される前に、第2のディスプレイD2の逆応答関数を用いて照射画像Iiを補正する、第2のガンマ回路γ2を有する。LCDパネルD1におけるLCD画素Pf1は、LEDパネルD2の関連するLED(Pb1)に対する、プログラム可能なフィルタとして働く。LEDパネルD2及びLCDパネルD1は共に8ビットのダイナミックレンジを持つため、デュアルディスプレイ装置DD1は理論的に、16ビットのダイナミックレンジの輝度レベル(グレイレベルとも呼ばれる)を表示することが可能である。実際のデュアルディスプレイ装置DD1は、LEDパネルD2とLCDパネルD1との間のとり得る輝度レベルの重複のため、約15ビットの範囲を表示することができるのみである(例えば、LCDパネルD1の輝度レベル2を用いてLEDパネルD2の輝度レベル5をフィルタリングすることは、LCDパネルD1の輝度レベル5を用いてLEDパネルD2の輝度レベル2をフィルタリングすることと等価である)。
入力画像Iは典型的に、画像の画素の明るさ及び色を定義する、入力ディジタル語dwのストリームを有する。プロセッサPr1は入力ディジタル語dwのストリームを受信し、画像スプリッタSpを利用してレティネクスアルゴリズムにより、入力ディジタル語dwを照射ディジタル語と反射ディジタル語とに分割する。照射ディジタル語は、第2のガンマ回路γ2を利用してLEDパネルD2の応答に対して補正され、LEDパネルD2のLED(Pb1、Pb2)に供給される。照射ディジタル語は、LEDパネルD2内のLED(Pb1、Pb2)の発光強度を決定する。反射ディジタル語は、第1のガンマ回路γ1を利用してLCDパネルD1の応答に対して補正され、LCDパネルD1のLCD画素Pf1に供給される。反射ディジタル語は、LCDパネルD1内のLED画素Pf1の透明度を決定する。
レティネクスアルゴリズムに起因する照射画像Iiは一般に、入力画像Iの空間的に低い解像度のバージョンを表す。このことは、LEDパネルD2内のLED(Pb1、Pb2)の発光強度の変化が、空間的に平滑化されることを意味する。既知のデュアルディスプレイ装置においては、グラフィクス処理ユニット(図示されていない)が、入力画像Iを、入力画像Iの正規化されたディジタル語Ndw(ディジタル語の正規化の計算は図2を利用して後に説明される)の平方根をとることにより第1及び第2の画像に分割し、第1のディスプレイD1及び第2のディスプレイD2に供給される略同一の画像に帰着する。一般に、空間的に平滑化された画像を表示するLEDパネルD2の平均発光Av(平均発光の計算は図2を利用して後に説明される)は、入力画像Iの正規化されたディジタル語Ndwの平方根を表す画像を表示するLEDパネルD2の平均発光Avp(平均発光の計算は図2を利用して後に説明される)よりも低い。このことは、図2における数値的な例により示される。デュアルディスプレイ装置DD1の電力損失の主な部分はLEDパネルD2で発生するため、平均発光Avの低減が、デュアルディスプレイ装置DD1の全体の電力消費低減に帰着する。
好適な実施例においては、LEDパネルD2の空間解像度は、LCDパネルD1の空間解像度よりも低い。画像を表示するため低減された空間解像度を持つディスプレイを利用する場合、表示画像の画素値間の補間による誤差が予期される。しかしながら、低減された解像度を持つLEDパネルD2を利用して照射画像Iiを表示する場合には、該誤差は小さいことが予期される。なぜなら、照射画像Iiは、入力画像Iから導出される空間的に低い解像度の画像であるからである。低減された空間解像度を持つディスプレイを利用する場合の利点は、デュアルディスプレイ装置DD1が一般に高価でないものとされ得る点である。
好適な実施例においては、LCDパネルD1は、ディジタルミラー素子(図示されていない)により置き換えられる。ディジタルミラー素子は一般に、高い周波数で動かされる又はスイッチオン及びオフされることができるマイクロミラーのアレイを有する。より頻繁にスイッチオフされる画像の画素は、あまり頻繁にスイッチオフされない画像の画素に比べて、暗いグレイレベルをもたらす。このようにして、画像の各画素について、種々のグレイレベルが生成され得る。一般に、ディジタルミラー素子は、画像の画素の1024個に上る異なるグレイレベルをもたらす。ディジタルミラー素子はLEDパネルD2のLED(Pb1、Pb2)と整合され、それにより1つのLED(Pb1)は、一般に観測者が画像を観測する投射画面に向けて光(の一部)を反射するディジタルミラー素子に向けて、光を発射する。プロセッサPr1は入力画像Iを受信し、入力画像Iを、LEDパネルD2に供給される照射画像Iiと、ディジタルミラー素子に供給される反射画像Irとに分割する。
図1Dは、本発明によるデュアルディスプレイ装置の更なる実施例DD2を示す。本実施例においては、LEDパネルD2(図1C)が、バックライトユニットBuからの光を変調するために利用される第2のLCDパネルD3により置き換えられる。第2のLCDパネルD3は、LCDパネルD1とバックライトユニットBuとの間に配置される。LCD画素Pf1のそれぞれ1つは、第2のLCDパネルD3の関連するLCD画素(図示されていない)と整合され、それにより関連するLCD画素はLCD画素Pf1を略介して観測者に向けて光を発射する。デュアルディスプレイ装置DD2は更に、入力画像Iを受信し、デュアルディスプレイ装置DD2において入力画像Iを表示するために入力画像Iを処理する、プロセッサPr2を有する。入力画像Iは一般に、併せて入力画像Iの関連する画素の輝度及び色を定義するサブ語の群(図示されていない)をそれぞれ有する、入力ディジタル語dwのストリーム(図2を参照)を有する。プロセッサPr2は、入力画像Iの入力ディジタル語を、画素の輝度を表す輝度サブ語Lと、画素の色を表す色サブ語C1及びC2とに変換し、次いで色サブ語C1及びC2から輝度サブ語Lを分離する、語スプリッタSwを有する。プロセッサPr2は、2つの語結合器Sw−1に色サブ語C1及びC2を配信し、画像スプリッタSpに輝度サブ語Lを配信するように構成される。画像スプリッタSpは、図1Cにおいて示された画像スプリッタと同様に、輝度サブ語Lを、照射輝度サブ語Liと反射輝度サブ語Lrとに分割する。図1Dに示されたプロセッサPr2は更に例えば、照射輝度サブ語Liに対してコントラスト強調アルゴリズムを実行する、コントラスト強調器Ceを有する。プロセッサPr2はまた例えば、反射輝度サブ語Lrに対して細部強調を実行する、細部強調器Deを有する。(非線形)伸張のようなコントラスト強調アルゴリズム、及びヒストグラム等化のような細部強調アルゴリズムは、本分野において良く知られている。図1Dに示された構成においては、照射輝度サブ語Li及び反射輝度サブ語Lrは、コントラスト強調及び細部強調が語結合器Sw−1により実行された後に色サブ語C1及びC2と再結合され、照射画像Ii及び反射画像Irに帰着する。コントラスト強調及び/又は細部強調は、当業者には明らかであるように、プロセッサPr2内の別の場所において実行されても良い。プロセッサPr2は好ましくは、LCDパネルD1の逆応答関数を用いて反射画像Irを補正する第1のガンマ回路γ1、及び第2のLCDパネルD3の逆応答関数を用いて照射画像Iiを補正する第3のガンマ回路γ3をも有する。
好適な実施例においては、画像スプリッタSpは、例えばガウス核関数G(図2Cを参照)のような核関数Gを利用して(図2C)、入力輝度サブ語Lに対して空間的な畳み込み演算を実行する空間ローパスフィルタSfを有する。ガウス核関数Gを利用する利点は、レティネクスアルゴリズムを実行するために必要とされる計算を単純化し、プロセッサPr2における減少された計算時間に帰着する点である。該減少された計算時間は、レティネクスアルゴリズムが、例えばビデオストリームに適用されることを可能とする。一方、計算の単純化は、プロセッサPr2の計算要件を低減させ、その結果例えばプロセッサPr2を安価なものとし得る。
入力画像Iは一般にサブ語の群、例えばRGB色空間の三原色の光強度値を表すRGBサブ語の群を有する、入力ディジタル語dw(図2A)を有する。RGBサブ語の群のそれぞれ1つは例えば、RGBサブ語により表される原色に対応する色フィルタを持つ、LCD画素Pf1のサブ画素に供給される。語スプリッタSwは、入力ディジタル語dwを、輝度サブ語Lと色サブ語C1及びC2とに変換する。RGB色空間のYUV色空間への変換のような、幾つかの変換アルゴリズムが本分野において知られている。ここでYサブ語はサブ語の群の輝度を表し、U及びVサブ語はサブ語の群の色を表す。他の例は、RGB色空間のHSV色空間への変換である。ここでVサブ語(Value)はサブ語の群の輝度を表し、S及びHサブ語(それぞれSaturation及びHue)はサブ語の群の色を表す。輝度サブ語L(又は上述した例によるYサブ語若しくはVサブ語)は、レティネクスアルゴリズムにより、照射輝度サブ語Liと反射輝度サブ語Lrとに分割される。入力画像Iの輝度サブ語Lにのみレティネクスアルゴリズムを適用することの利点は、デュアルディスプレイ装置DD2の表示画像における色アーティファクトが回避される点である。色サブ語C1及びC2を、照射輝度サブ語Li及び反射輝度サブ語Lrと再結合することにより、それぞれ第2のLCDパネルD3及びLCDパネルD1に供給される照射画像Ii及び反射画像Irが生成される。
図2A乃至2Eは、入力画像Iの、先行技術による第2のディスプレイD2及びD3に表示されるべき第2の画像Ispへの分割、及び本発明による照射画像Iiへの分割を示す。
図2Aにおいて、入力画像Iを表す、正規化されたディジタル語Ndwの2次元アレイが示されている。該2次元アレイ内の正規化されたディジタル語Ndwのそれぞれ1つは、入力画像Iの対応するディジタル語dwの正規化された値を表す。左上の隅における入力ディジタル語dw(8ビットのディジタル語)について、対応する正規化されたディジタル語Ndwが示されている。当業者には良く知られた該変換は、8ビットのディジタル語dw(例えば11110011)を十進法の語に変換し(例えば11110011から243)、次いで正規化されたディジタル語Ndwへと変換する(例えば243/256=0.9492)。該2次元アレイの残りの正規化されたディジタル語Ndwは、入力画像Iの対応する入力ディジタル語dwから導出される。
図2Bにおいて、先行技術による第2の画像Ispを表す第2の画像語(正規化されたもの)の2次元アレイが示されている。該2次元アレイにおける各要素は、図2Aの入力画像Iの対応する正規化されたディジタル語Ndwの平方根をとることにより算出される(図2A及び2Bにおいて示されるアレイの左上の隅については、このことは0.95921/2=0.9743に帰着する)。先行技術による該第2の画像Ispは、デュアルディスプレイ装置DD1及びDD2の第2のディスプレイD2及びD3に供給される。先行技術による第2の画像Ispを表示するときの第2のディスプレイD2及びD3により発せられる平均光Avpは、該2次元アレイの算出された第2の画像語の平均をとることにより決定される。
図2Cにおいて、核関数の例としてガウス核関数Gが示される。ガウス核関数Gは、ガウス関数に類似する核関数内の重み分布を利用して、画像に存在する隣接する画素P(図2A)の強度レベルを空間的に平滑化する空間フィルタである。図2Cに示されるガウス核関数は、入力ディジタル語dwの3x3のアレイの平均を決定する。3x3のガウス核関数Gの中央の要素Cは、入力ディジタル語dw(又は正規化されたディジタル語Ndw)の2次元のアレイにわたって移動させられ、中央の要素Cに対応する入力ディジタル語dwを、ガウス型の重み分布を用いて、計算されたガウス核関数Gの平均により置き換える。種々のタイプの核関数が、本発明の範囲から逸脱することなく利用され得る。ガウス核関数Gを図2Aに示されるような正規化されたディジタル語Ndwの2次元アレイに適用することを可能とするため、正規化されたディジタル語Ndwの2次元アレイの端のディジタル語が付加される必要がある(パディングとしても知られる)。パディング操作は、(本例においては)正規化されたディジタル語Ndwの5x5のアレイを、正規化されたディジタル語Ndwの7x7のアレイである、パディングされた画像Ipの2次元のアレイ(図2D)へと変換する。パディング操作の典型的な例が図2Dに示され、ここでは図2Aにおける正規化されたディジタル語Ndwの2次元アレイにおける第2列が、該正規化されたディジタル語Ndwの2次元アレイの第1列の前に新たな縁を形成するために複製される(図2Dにおいて、パディングされた画像Ipの新たな7x7アレイの第1列について、5本の破線によって示される)。図2Aにおける正規化されたディジタル語Ndwの2次元アレイにおける第4列が、該正規化されたディジタル語Ndwの2次元アレイの第5列の後に新たな縁を形成するために複製される。図2Aにおける正規化されたディジタル語Ndwの2次元アレイにおける第2行が、該正規化されたディジタル語Ndwの2次元アレイの第1行の上に新たな縁を形成するために複製される。図2Aにおける正規化されたディジタル語Ndwの2次元アレイにおける第4行が、該正規化されたディジタル語Ndwの2次元アレイの第5行の下に新たな縁を形成するために複製される。パディングされた画像Ipの新たな7x7のアレイを完成させるため、7x7のアレイの隅の画素が、図2Aの元の5x5アレイの隅画素の反対側に位置する正規化されたディジタル語Ndwからコピーされる(図2Dにおいて、パディングされた画像Ipの新たな7x7アレイの第1列について、点鎖線によって示される)。勿論、本発明の範囲から逸脱することなく、当業者には知られた他のパディング操作が適用されても良い。
図2Eは、図2Dのパディングされた画像Ipに対するガウス核関数Gの適用に起因する、照射画像Iiを示す。ガウス核関数Gを実行することにより、画像内の大きな強度変化が平滑化されている。本発明による照射画像Iiを表示するときに第2のディスプレイD2及びD3により発射される平均光Avは、対応する正規化されたディジタル語Ndwから、パディングされた画像Ipを介して、ガウス核関数Gを適用することにより計算された2次元アレイにおける要素の平均をとることにより決定される。
一般に、画素の光強度値が空間的に平滑化された画像を表示する場合の平均光出力は、元の画像が個々の画素値の平方根をとることにより操作された場合であっても、元の画像の平均光出力に比べて低い。このことは、図2の数値的な例においても示される。図2においては、先行技術による第2の画像Ispへと入力画像Iを分割する場合の平均光出力Avp(Avp=0.6961)、本発明による照射画像Iiへと入力画像Iを分割する場合の平均光出力Av(Av=0.5708)に比べて、明らかに大きい。
図3は、図1Cに示されたデュアルディスプレイ装置DD1の、線AAに沿った断面図を示す。該断面図においては、LCDパネルD1のLCD画素Pf1は、LEDパネルD2の第1のLED(Pb1)と、第1の視軸Ax1に沿って整合されている。第1の視軸Ax1は、デュアルディスプレイ装置DD1のLCDパネルD1に対して略垂直である。デュアルディスプレイ装置DD1が、第1の視軸Ax1に対して角度φを持つ第2の視軸Ax2に沿って観測される場合、LCDパネルD1のLCD画素Pf1は、LEDパネルD2の第1のLED(Pb1)とは整合せず、第1のLED(Pb1)の隣接するLEDである第2のLED(Pb2)と整合する。第1の視軸Ax1に沿って観測者により観測される光強度は一般に、第2の視軸Ax2に沿って観測される光強度とは異なり、従って第1の視軸Ax1に沿って観測される画像は、第2の視軸Ax2に沿って観測される画像とは異なる。この誤差は視差と呼ばれ、デュアルディスプレイ装置DD1及びDD2において生じ得る。
本発明によるデュアルディスプレイ装置DD1及びDD2においては、デュアルディスプレイ装置DD1及びDD2の第2のディスプレイD2及びD3に表示される画像は、入力画像Iをレティネクスアルゴリズムにより分割し、照射画像Iiを得ることにより決定される。照射画像Iiは一般に、入力画像Iの空間的に低い解像度のバージョンである。空間的に低い解像度の画像においては、或る画素と隣接する画素との間の光強度値の差は一般に小さい。このことは、第1のLED(Pb1)により発射される光と第2の即ち隣接するLED(Pb2)により発射される光との間の差が比較的小さいことを意味し、第1の視軸Ax1以外の軸に沿ってデュアルディスプレイ装置DD1及びDD2を観測する際の比較的小さな視差に帰着する。それ故、レティネクスアルゴリズムによる入力画像Iの分割は、デュアルディスプレイ装置DD1及びDD2における低減された視誤差に帰着する。
図4A及び4Bは、プロセッサPr1及びPr2により為される処理ステップを示すブロック図を示す。図4Aにおいて、プロセッサPr1により実行される処理ステップが示される。プロセッサPr1は、入力画像Iを受信する。入力画像Iは、画像スプリッタSpにより、照射画像Iiと反射画像Irとに分割される。画像スプリッタSpは、図2A、D及びEにおいて既に示されたように、空間ローパスフィルタSfを利用してガウス核関数Gを入力画像Iと畳み込むことにより、レティネクスアルゴリズムを実行する。画像スプリッタSpは更に、入力画像Iのディジタル語を空間ローパスフィルタSfからの照射画像Iiの対応するディジタル語により除算することにより反射画像Irを生成する、画像除算器Sdを有する。勿論、例えば関数:反射画像Ir=inverse log(log(入力画像I)−log(照射画像Ii))を用いて反射画像を算出することのような、反射画像を計算する代替の方法が、本発明の範囲から逸脱することなく可能である。画像除算器Sdは更に、点広がり関数(Point Spread Function、PSF)pを有する。PSF(p)は、第2のディスプレイD2及びD3(図1)の画素から第1のディスプレイD1(図1)の画素へと発射された光の発射特性を表す。第1のディスプレイD1と第2のディスプレイD2及びD3との間の有限の距離のため、第1のディスプレイD1における対応する画素に向けて第2のディスプレイD2及びD3の画素により発せられた光は、該対応する画素の隣接する画素にも一部到達する。その結果、第1のディスプレイD1に向けて第2のディスプレイD2及びD3により発せられた画像が、第1のディスプレイD1に到達したときにぼやける。画像除算器Sdにおいて空間ローパスフィルタSfの出力に対してPSF(p)を適用することは、2つのディスプレイ間の有限の距離によるぼやけを補正し、画質を向上させる。プロセッサPr1は更に、第1のディスプレイD1の逆応答関数r −1を用いて反射画像Irを補正するための第1のガンマ回路γ1と、第2のディスプレイD2及びD3の逆応答関数r −1を用いて照射画像Iiを補正するための第2のガンマ回路γ2とを有する。
図4Bは、プロセッサPr2の好適な実施例により実行される処理ステップを示す。プロセッサPr2は入力画像IRGBを受信する。ここで下付きのRGBは、入力画像IRGBの入力ディジタル語dw(図2)が、RGB色空間を定義するRGBサブ語の群を有することを示す。プロセッサPr2は、入力画像IRGBを輝度サブ語Lvと色サブ語C1及びC2とに変換する、語スプリッタSwを有する。語スプリッタSwは、RGB色空間からの入力画像IRGBを、(本例においては)HSV色空間へと変換するように構成される。プロセッサPr2においては、輝度サブ語Lv(「V」はHSV色空間におけるValueを示す)が、図4Aに示されたような空間ローパスフィルタSfと画像除算器Sdとを利用して、照射輝度サブ語Lviと反射輝度サブ語Lvrとに分割される。好適な実施例においては、プロセッサPr2は更に、照射輝度サブ語Lviに対してコントラスト強調アルゴリズムfを実行するコントラスト強調器Ce、及び/又は反射輝度サブ語Lvrに対して細部強調アルゴリズムfを実行する細部強調器Deを有する。次いで、プロセッサPr2は語再結合器Sw−1を有し、該語再結合器において、色サブ語C1及びC2がそれぞれ、照射輝度サブ語Lvi及び反射輝度サブ語Lvrと再結合される。更に、語再結合器Sw−1は、HSV色サブ語の群を、RGB色サブ語の群へと変換して戻し、照射画像IiRGB及び反射画像IrRGBを生成する。好ましくは、プロセッサPr2は更に、第1のディスプレイD1の逆応答関数r −1を用いて反射画像IrRGBを補正する第1のガンマ回路γ1と、第2のディスプレイD2及びD3の逆応答関数r −1を用いて照射画像IiRGBを補正する第2のガンマ回路γ2とを有する。
図5A乃至5Cは、グレイレベルのヒストグラムを示す。図5Aにおいて、入力画像Iのグレイレベルのヒストグラムが示される。図5Bにおいて、画像拡張ステップとしてヒストグラム等化を伴わない、デュアルディスプレイ装置DD1及びDD2(図1)において表示されるような、処理された入力画像Iのグレイレベルのヒストグラムが画示される。図5Cにおいて、画像拡張ステップとしてヒストグラム等化が実行された、デュアルディスプレイ装置DD1及びDD2(図1)において表示されるような、処理された入力画像Iのグレイレベルのヒストグラムが画示される。グレイレベルのヒストグラムにおいて、画像内で生じるグレイレベルの数NGが、ディスプレイ装置が表示することが可能なグレイレベルGLのそれぞれについてプロットされている。8ビットのダイナミックレンジを持つディスプレイ装置において表示され得るグレイレベルGLは、一般に0から255までの異なるグレイレベルGLに亘り、ここでグレイレベル「0」は最も暗い画素を示し、グレイレベル「255」は最も明るい画素を示す。グレイレベルのヒストグラムが図5Aに示された入力画像Iは、比較的暗い画像である。なぜなら、グレイレベルGLの殆どが、グレイレベルのヒストグラムの下部を主にカバーしているからである。
図5Bは、画像拡張ステップとしてヒストグラム等化を伴わない、デュアルディスプレイ装置DD1及びDD2において表示されるような、入力画像Iのグレイレベルのヒストグラムを示す。第1のディスプレイD1並びに第2のディスプレイD2及びD3の双方が8ビットのダイナミックレンジを持つデュアルディスプレイ装置DD1及びDD2においては、理論的なダイナミックレンジは一般に16ビットである(65536個の異なるとり得るグレイレベルGL)。図5Bに示されるグレイレベルのヒストグラムから、ヒストグラムの全体的な形状は、大きくは変わっていないことが分かる。第1のディスプレイD1並びに第2のディスプレイD2及びD3に亘る画像の分割は、単にヒストグラムを伸張しているように見える。8ビットの画像を表示するためにデュアルディスプレイ装置DD1及びDD2を利用する場合の他の効果は、図5Bにおける詳細図に示されるように、ギャップgが、伸張されたグレイレベルのヒストグラムにおいて出現する点である。グレイレベルのヒストグラムにおけるこれらのギャップgは、8ビットの画像が、元の入力画像Iを再生成する第1のディスプレイD1並びに第2のディスプレイD2及びD3を介して再構築される2つの画像へと分割されるという事実により、生じさせられる。入力画像Iにおいては例えば、グレイレベル16、17及び18が存在する。画像を分割し、第1のディスプレイD1並びに第2のディスプレイD2及びD3を利用して該画像を表示した後に、グレイレベル16、17及び18はそれぞれグレイレベル256、289及び324に変換される。デュアルディスプレイ装置DD1及びDD2はグレイレベル256、289及び324の間の全ての中間グレイレベルGLを区別することが可能であるが、これら中間グレイレベルGLは入力画像には存在していなかったものであり、従ってデュアルディスプレイ装置DD1及びDD2により表示される画像には出現しない。特に、2つの略同一な画像が第1のディスプレイD1並びに第2のディスプレイD2及びD3に表示される先行技術の方法においては、一般に256個の異なるグレイレベルGLがデュアルディスプレイ装置DD1及びDD2の画像に表示され、ヒストグラムにおけるグレイレベルGL間の明らかなギャップgを示す。入力画像Iを照射画像Iiと反射画像Irとに分割するためにレティネクスアルゴリズムを利用する場合(前図において示されるように)には、空間的に低い解像度の照射画像Iiの反射画像Irとの再結合が一般に、グレイレベルのヒストグラムにおけるギャップgの一部を埋める。かくして、入力画像Iを分割するためにレティネクスアルゴリズムを適用することは、デュアルディスプレイ装置DD1及びDD2の高いダイナミックレンジのより効率的な利用を可能とする。
図5Cにおいて、画像拡張ステップとしてヒストグラム等化が実行された、ディスプレイ装置DD1及びDD2(図1)において表示される、処理された入力画像Iのグレイレベルのヒストグラムが示される。図5Bに示されたグレイレベルのヒストグラムと図5Cに示されたグレイレベルのヒストグラムとの差は、プロセッサPr2(図4B)が、反射画像Irが第1のディスプレイD1に表示される前に反射画像Irに対して細部強調アルゴリズムとしてヒストグラム等化を実行し、第2のディスプレイD2及びD3からの照射画像Iiと再結合した点である。ヒストグラム等化は、所定のアルゴリズムに従って画像において利用可能なグレイレベルGLを再分散させ、ディスプレイにより区別され得るグレイレベルGLを一般により良くカバーする、グレイレベルGLの新たな分散を得る。ヒストグラム等化が反射画像Irに適用される場合、2つの効果に帰着する。第1の効果は、ヒストグラムにおけるギャップg(図5B)の更なる低減を得る。第2の効果は、より高いグレイレベル値に向かう、グレイレベルのヒストグラムの更なる伸張を得る。両方の効果は、入力画像Iには存在していなかったグレイレベルGLを生成し、かくしてデュアルディスプレイ装置DD1及びDD2のダイナミックレンジの利用を改善する。照射画像IiはプロセッサPr2により変化させられていないため、入力画像I内の全体の照射の変化は、略保存される。このことは、図5Cのグレイレベルのヒストグラムにおいて見られる。なぜなら、グレイレベルGLの殆どが依然として、グレイレベルのヒストグラムの下部をカバーしているからである。このことは、自然な照射を持つ比較的鮮明な画像に帰着する。勿論、デュアルディスプレイ装置DD1及びDD2の高いダイナミックレンジの改善された利用に帰着する、他の細部及び/又はコントラスト強調アルゴリズムが、それぞれ反射画像Ir及び/又は照射画像Iiに適用されても良い。
上述の実施例は本発明を限定するものではなく説明するものであって、当業者は添付する請求項の範囲から逸脱することなく多くの代替実施例を設計することが可能であろうことは留意されるべきである。
請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。動詞「有する(comprise)」及びその語形変化の使用は、請求項に記載されたもの以外の要素又はステップの存在を除外するものではない。要素に先行する冠詞「1つの(a又はan)」は、複数の斯かる要素の存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記した装置請求項において、これら手段の幾つかは同一のハードウェアのアイテムによって実施化されても良い。特定の手段が相互に異なる従属請求項に列挙されているという単なる事実は、これら手段の組み合わせが有利に利用されることができないことを示すものではない。
本発明によるデュアルディスプレイ装置の実施例の平面図を示す。 本発明によるデュアルディスプレイ装置の実施例の平面図を示す。 本発明によるデュアルディスプレイ装置の実施例の平面図を示す。 本発明によるデュアルディスプレイ装置の実施例の平面図を示す。 先行技術による第2のディスプレイに表示されるべき第2の画像への入力画像の分割、及び本発明による照射画像への入力画像の分割を示す。 デュアルディスプレイ装置において発生し得る視誤差を示す。 プロセッサにより実行される処理ステップを示すブロック図を示す。 プロセッサにより実行される処理ステップを示すブロック図を示す。 入力画像のグレイレベルのヒストグラムを示す。 画像拡張ステップとしてヒストグラム等化を実行しない場合の、デュアルディスプレイ装置において表示される処理された入力画像のグレイレベルのヒストグラムを示す。 画像拡張ステップとしてヒストグラム等化を実行した場合の、デュアルディスプレイ装置において表示される処理された入力画像のグレイレベルのヒストグラムを示す。

Claims (17)

  1. 入力ディジタル語を有する入力画像を表示するためのデュアルディスプレイ装置であって、
    記デュアルディスプレイ装置は、第1のディスプレイ、第2のディスプレイ及び画像スプリッタを有し、
    記第1のディスプレイは、前記第2のディスプレイからの画像を変調するように構成され、
    前記画像スプリッタは、レティネクスアルゴリズムによって前記入力画像を分割し、前記第2のディスプレイに供給される照射ディジタル語から構成される照射画像と、前記第1のディスプレイに供給される反射ディジタル語から構成される反射画像とを得るように構成され
    前記画像スプリッタは、前記入力ディジタル語から前記照射ディジタル語を生成するための空間ローパスフィルタを有する、デュアルディスプレイ装置。
  2. 前記空間ローパスフィルタは、核関数を利用して前記入力ディジタル語に空間畳み込み演算を実行するように構成され、請求項に記載のデュアルディスプレイ装置。
  3. 前記第1のディスプレイは、前記第2のディスプレイからの画像を変調するための、プログラム可能な透明度を持つ光学フィルタとして構成される、請求項に記載のデュアルディスプレイ装置。
  4. 入力ディジタル語を有する入力画像を表示するためのデュアルディスプレイ装置であって、
    前記デュアルディスプレイ装置は、第1のディスプレイ、第2のディスプレイ及び画像スプリッタを有し、
    前記第1のディスプレイは、前記第2のディスプレイからの画像を変調するように構成され、
    前記画像スプリッタは、レティネクスアルゴリズムによって前記入力画像を分割し、前記第2のディスプレイに供給される照射ディジタル語から構成される照射画像と、前記第1のディスプレイに供給される反射ディジタル語から構成される反射画像とを得るように構成され、
    前記画像スプリッタは、前記入力ディジタル語を対応する前記照射ディジタル語により除算することにより前記反射ディジタル語を決定するように構成される、デュアルディスプレイ装置。
  5. 前記入力ディジタル語は、前記入力画像の画素の輝度を定義する輝度サブ語と、前記入力画像の色を定義する色サブ語と、を有し、前記デュアルディスプレイ装置は更に、前記入力ディジタル語を、前記入力画像の画素の輝度を表す輝度サブ語と前記入力画像の画素の色を表す色サブ語とに分割するための語スプリッタを有し、前記画像スプリッタは、レティネクスアルゴリズムを前記輝度サブ語にのみ適用するように構成され、請求項に記載のデュアルディスプレイ装置。
  6. 入力ディジタル語を有する入力画像を表示するためのデュアルディスプレイ装置であって、
    前記デュアルディスプレイ装置は、第1のディスプレイ、第2のディスプレイ及び画像スプリッタを有し、
    前記第1のディスプレイは、前記第2のディスプレイからの画像を変調するように構成され、
    前記画像スプリッタは、レティネクスアルゴリズムによって前記入力画像を分割し、前記第2のディスプレイに供給される照射ディジタル語から構成される照射画像と、前記第1のディスプレイに供給される反射ディジタル語から構成される反射画像とを得るように構成され、
    当該デュアルディスプレイ装置は、前記反射画像が前記第1のディスプレイに供給される前に、前記反射画像に対して細部強調アルゴリズムを実行するための細部強調器を更に有するデュアルディスプレイ装置。
  7. 前記細部強調器はヒストグラム等化を実行するように構成され、請求項に記載のデュアルディスプレイ装置。
  8. 入力ディジタル語を有する入力画像を表示するためのデュアルディスプレイ装置であって、
    前記デュアルディスプレイ装置は、第1のディスプレイ、第2のディスプレイ及び画像スプリッタを有し、
    前記第1のディスプレイは、前記第2のディスプレイからの画像を変調するように構成され、
    前記画像スプリッタは、レティネクスアルゴリズムによって前記入力画像を分割し、前記第2のディスプレイに供給される照射ディジタル語から構成される照射画像と、前記第1のディスプレイに供給される反射ディジタル語から構成される反射画像とを得るように構成され、
    当該デュアルディスプレイ装置は、前記照射画像が前記第2のディスプレイに供給される前に、前記照射画像に対してコントラスト強調アルゴリズムを実行するためのコントラスト強調器を更に有するデュアルディスプレイ装置。
  9. 前記コントラスト強調器はヒストグラム等化を実行するように構成され、請求項に記載のデュアルディスプレイ装置。
  10. 前記第2のディスプレイは、光源のアレイ、投射器、又は液晶ディスプレイにより構成され、請求項に記載のデュアルディスプレイ装置。
  11. 前記第1のディスプレイは液晶ディスプレイである、請求項に記載のデュアルディスプレイ装置。
  12. 前記第1のディスプレイは第1の空間解像度を持ち、前記第2のディスプレイは第2の空間解像度を持ち、前記第2の空間解像度は前記第1の空間解像度よりも低い、請求項に記載のデュアルディスプレイ装置。
  13. 第1のディスプレイ、第2のディスプレイ及び画像スプリッタを有するデュアルディスプレイ装置に、入力ディジタル語を有する入力画像を表示するための方法であって、
    記第1のディスプレイは、前記第2のディスプレイからの画像を変調するように構成され、
    当該方法はレティネクスアルゴリズムによって前記入力画像を分割し、前記第2のディスプレイに供給される照射ディジタル語から構成される照射画像と、前記第1のディスプレイに供給される反射ディジタル語から構成される反射画像とを得るステップを有し、
    前記照射ディジタル語は、空間ローパスフィルタを用いて前記入力ディジタル語から生成される、方法。
  14. 第1のディスプレイ、第2のディスプレイ及び画像スプリッタを有するデュアルディスプレイ装置に、入力ディジタル語を有する入力画像を表示するための方法であって、
    前記第1のディスプレイは、前記第2のディスプレイからの画像を変調するように構成され、
    当該方法は、レティネクスアルゴリズムによって前記入力画像を分割し、前記第2のディスプレイに供給される照射ディジタル語から構成される照射画像と、前記第1のディスプレイに供給される反射ディジタル語から構成される反射画像とを得るステップを有し、
    前記反射ディジタル語は、前記入力ディジタル語を対応する前記照射ディジタル語により除算することにより決定される、方法。
  15. 第1のディスプレイ、第2のディスプレイ及び画像スプリッタを有するデュアルディスプレイ装置に、入力ディジタル語を有する入力画像を表示するための方法であって、
    前記第1のディスプレイは、前記第2のディスプレイからの画像を変調するように構成され、
    当該方法は、レティネクスアルゴリズムによって前記入力画像を分割し、前記第2のディスプレイに供給される照射ディジタル語から構成される照射画像と、前記第1のディスプレイに供給される反射ディジタル語から構成される反射画像とを得るステップを有し、
    当該方法は、前記反射画像が前記第1のディスプレイに供給される前に、前記反射画像に対して細部強調アルゴリズムを実行するステップを有する、方法。
  16. 第1のディスプレイ、第2のディスプレイ及び画像スプリッタを有するデュアルディスプレイ装置に、入力ディジタル語を有する入力画像を表示するための方法であって、
    前記第1のディスプレイは、前記第2のディスプレイからの画像を変調するように構成され、
    当該方法は、レティネクスアルゴリズムによって前記入力画像を分割し、前記第2のディスプレイに供給される照射ディジタル語から構成される照射画像と、前記第1のディスプレイに供給される反射ディジタル語から構成される反射画像とを得るステップを有し、
    当該方法は、前記照射画像が前記第2のディスプレイに供給される前に、前記照射画像に対してコントラスト強調アルゴリズムを実行するステップを有する、方法。
  17. 第1のディスプレイ、第2のディスプレイ及び画像スプリッタを有するデュアルディスプレイ装置に、入力ディジタル語を有する入力画像を表示するためのコンピュータプログラムであって、前記第1のディスプレイは、前記第2のディスプレイからの画像を変調するように構成され、前記コンピュータプログラムは、前記デュアルディスプレイ装置に請求項13〜16のうちいずれか一項に記載の方法を実行させるように動作可能である、コンピュータプログラム。
JP2008514275A 2005-06-01 2006-05-29 デュアルディスプレイ装置 Expired - Fee Related JP5615493B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05104754.6 2005-06-01
EP05104754 2005-06-01
PCT/IB2006/051699 WO2006129263A2 (en) 2005-06-01 2006-05-29 Dual display device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014145564A Division JP5801455B2 (ja) 2005-06-01 2014-07-16 デュアルディスプレイ装置

Publications (2)

Publication Number Publication Date
JP2008546018A JP2008546018A (ja) 2008-12-18
JP5615493B2 true JP5615493B2 (ja) 2014-10-29

Family

ID=37187550

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2008514275A Expired - Fee Related JP5615493B2 (ja) 2005-06-01 2006-05-29 デュアルディスプレイ装置
JP2014145564A Expired - Fee Related JP5801455B2 (ja) 2005-06-01 2014-07-16 デュアルディスプレイ装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2014145564A Expired - Fee Related JP5801455B2 (ja) 2005-06-01 2014-07-16 デュアルディスプレイ装置

Country Status (8)

Country Link
US (1) US8212741B2 (ja)
EP (1) EP1891621B1 (ja)
JP (2) JP5615493B2 (ja)
KR (1) KR101246643B1 (ja)
CN (1) CN101185113B (ja)
AT (1) ATE414972T1 (ja)
DE (1) DE602006003758D1 (ja)
WO (1) WO2006129263A2 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4997846B2 (ja) * 2006-06-30 2012-08-08 ブラザー工業株式会社 画像処理プログラムおよび画像処理装置
US20090315883A1 (en) * 2008-06-19 2009-12-24 3M Innovative Properties Company Autostereoscopic display with pixelated luminaire
US8866698B2 (en) * 2008-10-01 2014-10-21 Pleiades Publishing Ltd. Multi-display handheld device and supporting system
WO2010045038A1 (en) * 2008-10-14 2010-04-22 Dolby Laboratories Licensing Corporation High dynamic range display with rear modulator control
KR100975221B1 (ko) * 2008-11-05 2010-08-10 매그나칩 반도체 유한회사 샤프니스 보정장치 및 그 방법
US8890910B2 (en) 2009-07-22 2014-11-18 Dolby Laboratories Licensing Corporation Image display based on multiple brightness indicators
WO2011025724A1 (en) 2009-08-27 2011-03-03 Dolby Laboratories Licensing Corporation Optical mixing and shaping system for display backlights and displays incorporating the same
JP5609080B2 (ja) * 2009-11-30 2014-10-22 富士通株式会社 画像処理装置、画像表示装置、画像処理プログラム及び画像処理方法
US8427393B2 (en) * 2010-03-05 2013-04-23 Sanyo Electric Co., Ltd. Multi-layer display apparatus
US9135864B2 (en) 2010-05-14 2015-09-15 Dolby Laboratories Licensing Corporation Systems and methods for accurately representing high contrast imagery on high dynamic range display systems
US9864243B2 (en) * 2010-05-14 2018-01-09 Dolby Laboratories Licensing Corporation High dynamic range displays using filterless LCD(s) for increasing contrast and resolution
WO2012122104A2 (en) 2011-03-09 2012-09-13 Dolby Laboratories Licensing Corporation High contrast grayscale and color displays
RU2609760C2 (ru) 2010-09-16 2017-02-02 Конинклейке Филипс Электроникс Н.В. Устройства и способы усовершенствованного кодирования изображений
CN103380453B (zh) 2010-12-21 2016-11-09 晶典有限公司 具有存储减少器的空间光调制器
KR101579831B1 (ko) 2011-10-20 2015-12-23 돌비 레버러토리즈 라이쎈싱 코오포레이션 비디오 등화를 위한 방법 및 시스템
JP5247910B1 (ja) * 2012-03-30 2013-07-24 Eizo株式会社 画像表示装置またはその方法
US9304379B1 (en) * 2013-02-14 2016-04-05 Amazon Technologies, Inc. Projection display intensity equalization
WO2015023762A2 (en) 2013-08-16 2015-02-19 Dolby Laboratories Licensing Corporation Systems and methods for light field modeling techniques for multi-modulation displays
KR20160007015A (ko) 2014-07-10 2016-01-20 남 영 김 투명 오버랩 디스플레이
US9928371B2 (en) 2014-11-19 2018-03-27 Papal, Inc. Systems and methods for protecting information displayed on a user interface of a device
US9886598B2 (en) 2014-12-29 2018-02-06 Paypal, Inc. Automatic adjustment of a display to obscure data
US9928372B2 (en) * 2015-10-23 2018-03-27 Paypal, Inc. Selective screen privacy
CN112946964B (zh) * 2016-07-14 2024-04-02 松下电器(美国)知识产权公司 显示装置
US10867538B1 (en) * 2019-03-05 2020-12-15 Facebook Technologies, Llc Systems and methods for transferring an image to an array of emissive sub pixels
TWI703542B (zh) * 2019-06-05 2020-09-01 友達光電股份有限公司 背光訊號處理方法及顯示裝置
US11004406B1 (en) * 2020-01-05 2021-05-11 Himax Technologies Limited Dual liquid crystal display device
TWI754358B (zh) * 2020-08-24 2022-02-01 友達光電股份有限公司 顯示裝置以及控制方法
KR102503818B1 (ko) 2022-12-21 2023-02-27 주식회사 케이엘디 PIS(Pixel Integrate Scanning) 분산형 자동 절전 전광판

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3983320A (en) * 1975-08-25 1976-09-28 Hughes Aircraft Company Raster display histogram equalization
JPS59147386A (ja) * 1983-02-10 1984-08-23 松下電器産業株式会社 液晶表示装置
JPH02127617A (ja) * 1988-11-07 1990-05-16 Sharp Corp 液晶ディスプレイパネル
JP2582644B2 (ja) * 1989-08-10 1997-02-19 富士写真フイルム株式会社 平面型画像表示装置
US5118992A (en) 1990-04-17 1992-06-02 North American Philips Corporation Fluorescent lamp controlling arrangement
JPH04317029A (ja) * 1991-04-17 1992-11-09 Fujitsu Ltd 投写型液晶表示素子
GB2278480A (en) * 1993-05-25 1994-11-30 Sharp Kk Optical apparatus
JP3523170B2 (ja) * 2000-09-21 2004-04-26 株式会社東芝 表示装置
KR100415510B1 (ko) 2001-03-15 2004-01-16 삼성전자주식회사 적응형 휘도 증대 기능을 갖는 액정 표시 장치 및 이의구동 방법
US7064740B2 (en) 2001-11-09 2006-06-20 Sharp Laboratories Of America, Inc. Backlit display with improved dynamic range
US7403332B2 (en) * 2002-03-13 2008-07-22 Dolby Laboratories Licensing Corporation High dynamic range display devices
US7415153B2 (en) 2002-09-20 2008-08-19 International Business Machines Corporation Color naming, color categorization and describing color composition of images
AU2003278511A1 (en) 2002-11-27 2004-06-18 Koninklijke Philips Electronics N.V. Method of improving the perceptual contrast of displayed images
US20050157939A1 (en) * 2004-01-16 2005-07-21 Mark Arsenault Processes, products and systems for enhancing images of blood vessels
JP2005286472A (ja) * 2004-03-29 2005-10-13 Sanyo Electric Co Ltd 画像処理装置および画像処理方法
US7505018B2 (en) * 2004-05-04 2009-03-17 Sharp Laboratories Of America, Inc. Liquid crystal display with reduced black level insertion
KR20060055305A (ko) * 2004-11-17 2006-05-23 주식회사 뉴파워 프라즈마 면광원 장치, 이를 갖는 표시장치 및 그 제어 방법

Also Published As

Publication number Publication date
JP2008546018A (ja) 2008-12-18
DE602006003758D1 (de) 2009-01-02
KR20080032047A (ko) 2008-04-14
CN101185113A (zh) 2008-05-21
ATE414972T1 (de) 2008-12-15
US8212741B2 (en) 2012-07-03
EP1891621B1 (en) 2008-11-19
US20090096710A1 (en) 2009-04-16
WO2006129263A2 (en) 2006-12-07
EP1891621A2 (en) 2008-02-27
WO2006129263A3 (en) 2007-02-22
KR101246643B1 (ko) 2013-03-25
JP5801455B2 (ja) 2015-10-28
JP2014222361A (ja) 2014-11-27
CN101185113B (zh) 2010-04-07

Similar Documents

Publication Publication Date Title
JP5801455B2 (ja) デュアルディスプレイ装置
CN109979401B (zh) 驱动方法、驱动装置、显示设备和计算机可读介质
US10049643B1 (en) Image processing apparatus and method for correcting color shift in displayed image
US7965305B2 (en) Color display system with improved apparent resolution
JP5522918B2 (ja) 色再現域外色転換を選択的に処理するシステム及び方法
JP5595516B2 (ja) 画像データ・ブロックの統計的属性を使ったバックライト制御のための方法およびシステム
US10636336B2 (en) Mixed primary display with spatially modulated backlight
EP2649612B1 (en) Method and apparatus for conforming color-graded video data
US20120069022A1 (en) Color seamlessness across tiled multi-projector displays
JP2015142276A5 (ja)
CN101360250A (zh) 沉浸产生方法和***及因素控制、内容分析及参数预测法
US20120218283A1 (en) Method for Obtaining Brighter Images from an LED Projector
KR20110083663A (ko) 이미지들의 콘트라스트 향상
EP2161918B1 (en) Image processor, image display device, image processing method, and image display method
KR20230054673A (ko) 디스플레이 불균일성 보정
WO2021071614A1 (en) Systems and methods for hiding dead pixels
US7738723B2 (en) System and method for image display enhancement
Huang et al. Mixed-primary factorization for dual-frame computational displays.
EP4042404A1 (en) Systems and methods for hiding dead pixels
JP2006165950A (ja) 画像処理装置及び画像処理方法
US20240202892A1 (en) Combined tone and gamut mapping for augmented reality display
CN117590665A (zh) 彩色电泳显示器及驱动方法
WO2023247054A1 (en) Method and image processor unit for processing data provided by an image sensor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120628

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120914

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140116

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140411

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140812

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140910

R150 Certificate of patent or registration of utility model

Ref document number: 5615493

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees