JP3994265B2 - 画像処理システム、プロジェクタ、プログラムおよび情報記憶媒体 - Google Patents
画像処理システム、プロジェクタ、プログラムおよび情報記憶媒体 Download PDFInfo
- Publication number
- JP3994265B2 JP3994265B2 JP2002057083A JP2002057083A JP3994265B2 JP 3994265 B2 JP3994265 B2 JP 3994265B2 JP 2002057083 A JP2002057083 A JP 2002057083A JP 2002057083 A JP2002057083 A JP 2002057083A JP 3994265 B2 JP3994265 B2 JP 3994265B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- range
- limit value
- average
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Liquid Crystal Display Device Control (AREA)
- Picture Signal Circuits (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像信号を白方向または黒方向に伸張する処理を行うための画像処理システム、プロジェクタ、プログラムおよび情報記憶媒体に関する。
【０００２】
【背景技術および発明が解決しようとする課題】
例えば、液晶パネル等を用いて画像を表示する際に、入力映像信号の最黒部分が所定レベルよりも浮いている場合、当該最黒部分が所定レベルになるように入力映像信号を黒方向に伸張することが行われている。また、入力映像信号の最白部分が所定レベルよりも沈んでいる場合、当該最白部分が所定レベルになるように入力映像信号を白方向に伸張することが行われている。
【０００３】
しかし、例えば、映画のように大部分が暗い画像の中の一部に白い字幕が含まれる画像を表示するような場合、画像の大部分の輝度は低く、狭い輝度範囲に属しているが、字幕部分の輝度が高いために、画像全体としては輝度分布が広くなる。
【０００４】
このような場合、広くなった輝度範囲に対して伸張処理を行うために、画像の大部分が含まれる低輝度部分の輝度範囲を適切に伸張することができない。
【０００５】
このような輝度分布が偏っている場合の階調補正の手法として、特開２０００−３２２０４７号公報では、輝度のヒストグラムの分散値に応じて階調補正を行う手法が提案されている。
【０００６】
当該手法では、累積ヒストグラムと、輝度のヒストグラムの分散値から求まる係数（上記公報では混合比と表現）に従って、輝度分布の偏りが小さい場合は階調補正の度合いを大きくし、輝度分布の偏りが大きい場合は階調補正の度合いを小さくしている。
【０００７】
このため、上記の場合のように、低輝度側に輝度分布が偏っている場合には、ほとんど階調補正がなされず、見た目のコントラストを改善する効果が少ない。
【０００８】
本発明は、上記課題に鑑みなされたものであり、その目的は、輝度分布が偏っている場合であっても、黒浮きを防止し、見た目のコントラストを改善することが可能な画像処理システム、プロジェクタ、プログラムおよび情報記憶媒体を提供することにある。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像処理システムは、映像信号を白側または黒側に伸張する処理を行う画像処理システムにおいて、
前記映像信号に基づき、所定の基準輝度を演算する輝度演算手段と、
当該基準輝度に基づき、所定の画像処理単位ごとの平均輝度を演算する平均輝度演算手段と、
前記基準輝度と、前記平均輝度とに基づき、前記基準輝度の散らばり具合を示す標準偏差値を演算する標準偏差演算手段と、
前記平均輝度と、前記標準偏差値とに基づき、前記標準偏差値を所定倍した値をαとした場合に、前記平均輝度−αから前記平均輝度＋αまでのうち所定の範囲を、前記映像信号の伸張を強調する強調範囲として設定し、強調範囲以外の範囲を、前記映像信号の伸張を強調しない不強調範囲として設定する範囲設定手段と、
前記基準輝度が前記強調範囲内にある場合には前記不強調範囲内にある場合と比べて伸張の度合いを相対的に高くして前記映像信号の伸張を行う伸張処理手段と、
を含むことを特徴とする。
【００１０】
また、本発明に係るプロジェクタは、上記画像処理システムを備えたことを特徴とする。
【００１１】
また、本発明に係るプログラムは、映像信号を白側または黒側に伸張する処理を行うためのコンピュータ読み取り可能なプログラムであって、
コンピュータを、
前記映像信号に基づき、所定の基準輝度を演算する輝度演算手段と、
当該基準輝度に基づき、所定の画像処理単位ごとの平均輝度を演算する平均輝度演算手段と、
前記基準輝度と、前記平均輝度とに基づき、前記基準輝度の散らばり具合を示す標準偏差値を演算する標準偏差演算手段と、
前記平均輝度と、前記標準偏差値とに基づき、前記標準偏差値を所定倍した値をαとした場合に、前記平均輝度−αから前記平均輝度＋αまでのうち所定の範囲を、前記映像信号の伸張を強調する強調範囲として設定し、強調範囲以外の範囲を、前記映像信号の伸張を強調しない不強調範囲として設定する範囲設定手段と、
前記基準輝度が前記強調範囲内にある場合には前記不強調範囲内にある場合と比べて伸張の度合いを相対的に高くして前記映像信号の伸張を行う伸張処理手段として機能させることを特徴とする。
【００１２】
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能な情報記憶媒体であって、
コンピュータを、上記手段として機能させるためのプログラムを記憶したことを特徴とする。
【００１３】
本発明によれば、例えば、映画のように全体が暗い画像の中で字幕部分の輝度が高いといった場合であっても、平均輝度−αから平均輝度＋αまでの所定の範囲の伸張倍率を相対的に高めることにより、輝度が集中している部分を十分に伸張することができる。
【００１４】
これにより、例えば、低輝度側に輝度分布が偏った映像に対しても、見た目のコントラストを改善することができる。
【００１５】
なお、前記画像処理単位としては、例えば、フレーム、フィールド等が該当する。
【００１６】
また、前記所定倍としては、例えば、３倍〜４倍であってもよい。１倍〜２倍した値では範囲が狭すぎ、５倍以上だと範囲が広すぎる場合もあるが、３倍〜４倍とすることにより、適切な強調範囲を設定することができる。
【００１７】
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記範囲設定手段は、前記平均輝度−αが最小輝度未満の場合には最小輝度を前記強調範囲の下限値として設定し、前記平均輝度−αが最小輝度以上の場合には前記平均輝度−αを前記強調範囲の下限値として設定し、前記平均輝度＋αが最大輝度を超える場合には最大輝度を前記強調範囲の上限値として設定し、前記平均輝度＋αが最大輝度以下の場合には前記平均輝度＋αを前記強調範囲の上限値として設定してもよい。
【００１８】
これによれば、最小輝度と平均輝度−α、最大輝度と平均輝度＋αをそれぞれ比較して適切な方の値を強調範囲の下限値または上限値として設定することができる。
【００１９】
これにより、より適切に輝度の伸張を行うことができる。
【００２０】
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記伸張処理手段は、前記最小輝度が前記強調範囲の下限値であり、かつ、前記最大輝度が前記強調範囲の上限値である場合、前記最小輝度が前記強調範囲の下限値未満であり、かつ、前記最大輝度が前記強調範囲の上限値である場合、前記最小輝度が前記強調範囲の下限値であり、かつ、前記最大輝度が前記強調範囲の上限値を超える場合、前記最小輝度が前記強調範囲の下限値未満であり、かつ、前記最大輝度が前記強調範囲の上限値を超える場合のそれぞれの場合に応じて異なる伸張処理を行ってもよい。
【００２１】
これによれば、最小輝度と強調範囲の下限値、最大輝度と強調範囲の上限値をそれぞれ比較して比較結果に応じて異なる伸張処理を行うことにより、輝度の散らばりに応じた適切な伸張処理を行うことができる。
【００２２】
また、本発明に係る白黒伸張処理方法は、映像信号に対して白黒伸張処理を行う白黒伸張処理方法において、
前記映像信号に基づき、入力輝度の全範囲を複数の範囲に区分して当該範囲に属する入力輝度の分布を把握し、
前記複数の範囲において、当該範囲に属する入力輝度の分布数が多い範囲を分布数が少ない範囲に比べて相対的に伸張倍率を高めるように伸張倍率を決定し、
決定した伸張倍率に応じて前記映像信号を白側または黒側に伸張して出力輝度として出力することを特徴とする。
【００２３】
本発明によれば、例えば、映画のように全体が暗い画像の中で字幕部分の輝度が高いといった場合であっても、入力輝度の分布が多い範囲の伸張倍率を相対的に高めることにより、輝度が集中している部分を十分に伸張することができる。
【００２４】
これにより、例えば、低輝度側に輝度分布が偏った映像に対しても、見た目のコントラストを改善することができる。
【００２５】
また、前記白黒伸張処理方法において、前記全範囲における前記入力輝度の散らばり具合と、前記入力輝度の最小値と、前記入力輝度の最大値とに基づき、前記分布数が多い範囲の下限値と上限値を決定してもよい。
【００２６】
これによれば、全範囲における前記入力輝度の散らばり具合と、最小輝度と、最大輝度に基づいて分布数が多い範囲の下限値または上限値を設定することにより、輝度の散らばり具合をより適切に考慮することができ、より適切に輝度の伸張を行うことができる。
【００２７】
また、前記白黒伸張処理方法において、過度の伸張を防止するために、最小輝度および最大輝度の少なくとも一方の伸張倍率を低減してもよい。
【００２８】
これによれば、最小輝度および最大輝度の少なくとも一方の伸張倍率を低減することにより、過度の伸張を防止し、適切な伸張を行うことができる。
【００２９】
また、前記画像処理システム、前記プログラム、前記情報記憶媒体および前記白黒伸張処理方法は、液晶表示用に用いられるものであってもよい。
【００３０】
これによれば、液晶表示の場合に発生しやすい黒浮きを適切に防止することができる。
【００３１】
【発明の実施の形態】
以下、本発明を、映像信号の一種であるＲＧＢ信号を入力し、コントラストの増加等のため、映像信号を白側または黒側に伸張する白黒伸張処理を行う液晶プロジェクタの画像処理部に適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
【００３２】
（機能ブロックの説明）
図１は、本実施形態の一例に係る画像処理部１００の機能ブロック図である。
【００３３】
本実施形態の画像処理部１００は、ＲＧＢ信号に基づいて基準輝度を演算する輝度演算部１１０と、基準輝度に基づき平均輝度を演算する平均輝度演算部１２０と、基準輝度と平均輝度に基づき標準偏差値を演算する標準偏差演算部１３０と、１フレームにおける基準輝度の最大値と最小値を演算する最大最小輝度検出部１４０とを含んで構成されている。
【００３４】
また、本実施形態の画像処理部１００は、平均輝度、標準偏差値、最小輝度、最大輝度に基づいて伸張倍率を高める範囲を設定する範囲設定部１５０と、伸張処理用の係数を演算する係数演算部１６０と、ＲＧＢ信号の伸張処理を行う伸張処理部１７０とを含んで構成されている。
【００３５】
また、画像処理部１００には情報記憶媒体２００が接続され、画像処理部１００が情報記憶媒体２００に記憶されたプログラムを読み取って範囲設定部１５０等の機能を画像処理部１００内のコンピュータに実現させることも可能となっている。
【００３６】
なお、画像処理部１００は、情報記憶媒体２００ではなくホスト装置等に記憶されたプログラムを、ネットワークを介して読み取って範囲設定部１５０等の機能を実現することも可能である。
【００３７】
また、画像処理部１００内の各部のハードウェアとしては回路やプログラムを用いて実現できる。
【００３８】
また、情報記憶媒体２００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。
【００３９】
（白黒伸張処理の説明）
以下、画像処理部１００内の各部を用いた処理の流れについて説明する。
【００４０】
一般的な方式では、基準輝度は、０．３０×Ｒ信号＋０．５９×Ｇ信号＋０．１１×Ｂ信号として求められている。このように重み付けが異なるのは人間の目の感度が異なるからである。
【００４１】
しかし、白黒伸張を行う場合、上記数式を用いて輝度を求めた場合、Ｇの輝度成分が高い部分がより顕著に伸張されてしまう。
【００４２】
そこで、本実施形態の輝度演算部１１０は、ＲＧＢ形式で映像信号が入力される場合、基準輝度Ｙを（Ｒ信号＋Ｇ信号＋Ｂ信号）／３として求めている。
【００４３】
また、平均輝度演算部１２０は、１フレームごとの基準輝度Ｙの平均値を演算する。
【００４４】
また、標準偏差演算部１３０は、基準輝度、平均輝度に基づき、標準偏差値σを演算する。
【００４５】
さらに、最大最小輝度検出部１４０は、輝度演算部１１０からの基準輝度に基づき、１フレームごとに基準輝度の最大値と最小値を検出する。
【００４６】
なお、フレームの切り替わりのタイミングについては、平均輝度演算部１２０や最大最小輝度検出部１４０は、垂直同期信号に基づいて判断することができる。
【００４７】
次に、範囲設定部１５０以下の処理について説明する。
【００４８】
図２は、本実施形態の一例に係る白黒伸張処理のフローチャートである。
【００４９】
範囲設定部１５０は、入力される輝度範囲において、伸張倍率を高くする強調範囲と伸張倍率を高くしない不強調範囲を設定するために、まず、平均輝度−４σと、平均輝度＋４σを演算する（ステップＳ２）。
【００５０】
そして、範囲設定部１５０は、平均輝度−４σと、最大最小輝度検出部１４０によって求められた最小輝度を比較し（ステップＳ４）、平均輝度−４σ＜最小輝度が成り立つ場合、強調範囲の下限値Lminとして最小輝度を設定し（ステップＳ６）、平均輝度−４σ＜最小輝度が成り立たない場合、強調範囲の下限値Lminとして平均輝度−４σを設定する（ステップＳ８）。
【００５１】
このような処理を行うのは、平均輝度−４σよりも最小輝度のほうが大きい場合に強調範囲の下限値として平均輝度−４σを設定すると、平均輝度−４σから最小輝度までの範囲は実際にはあり得ない輝度であるにも関わらず、強調範囲として設定してしまうことになり不適切だからである。
【００５２】
最小輝度の判定と同様に、範囲設定部１５０は、平均輝度＋４σと、最大最小輝度検出部１４０によって求められた最大輝度を比較し（ステップＳ１０）、平均輝度＋４σ＞最大輝度が成り立つ場合、強調範囲の上限値Lmaxとして最大輝度を設定し（ステップＳ１２）、平均輝度＋４σ＞最大輝度が成り立たない場合、強調範囲の上限値Lmaxとして平均輝度＋４σを設定する（ステップＳ１４）。
【００５３】
以上のように、平均輝度、標準偏差値σ、最小輝度、最大輝度に基づいて強調範囲を設定することにより、輝度分布が集中している範囲を強調範囲として設定することができる。
【００５４】
そして、伸張処理部１７０は、最小輝度、最大輝度に応じた伸張処理を行う（ステップＳ１６）。
【００５５】
以下、最小輝度、最大輝度に応じた伸張処理（ステップＳ１６）について説明する。
【００５６】
図３は、本実施形態の一例に係る最小輝度、最大輝度に応じた伸張処理のフローチャートである。
【００５７】
本実施の形態では、最大輝度に近い輝度の階調および最小輝度に近い輝度の階調を、中間階調の輝度に比べて伸張しないようにしている。なぜなら輝度が０に近い領域、すなわち、黒に近い領域では最大輝度を伸張すると色がつぶれてしまうからである。同様に、輝度が１０２３に近く白に近い領域でも最大輝度を伸張すると色がつぶれてしまうからである。
【００５８】
また、このように、最大輝度や最小輝度に近い領域で伸張倍率を下げた場合でも、最大輝度や最小輝度に近い領域の画素の階調の変化は見分けにくいため、中間階調をより伸張させることにより、効果的に白黒伸張を行うことができる。
【００５９】
このような伸張を行うため、伸張処理部１７０は、最小輝度と下限値Lmin、最大輝度と上限値Lmaxの大小関係で場合分けした４つの場合のそれぞれに応じて異なる伸張処理を行う。
【００６０】
まず、範囲設定部１５０は、最小輝度が下限値Lminと等しく、かつ、最大輝度が上限値Lmaxと等しい場合（ステップＳ２２）、関数ｆを用いて、下限値LminをLmin'に変換し、上限値LmaxをLmax'に変換する（ステップＳ２８）。
【００６１】
なお、関数ｆは白黒伸張のための関数である。
【００６２】
図４において、図４（Ａ）は、本実施形態の一例に係るLminおよび最小輝度を入力した場合の関数ｆによる出力Lmin'およびLminlを示す図であり、図４（Ｂ）は、本実施形態の一例に係るLminおよび最小輝度を入力した場合の関数ｆによる出力Lmin'およびLminlを示す図である。
【００６３】
図４（Ａ）および図４（Ｂ）において、点線が伸張前の入出力特性を示し、実線が伸張後の入出力特性を示している。
【００６４】
図４（Ａ）を見れば分かるように、最小輝度の変換に関しては、低輝度側（黒側）の輝度０〜１６０の出力の変化は、高輝度側（白側）の輝度１６１〜１０２３までの出力の変化と比べてなだらかになっている。
【００６５】
すなわち、上述したように、最小輝度に近い輝度の階調を、中間階調の輝度に比べて伸張しないようにしている。
【００６６】
また、図４（Ｂ）を見れば分かるように、最大輝度の変換に関しては、高輝度側（白側）の輝度１６１〜１０２３までの出力の変化は、低輝度側（黒側）の輝度０〜１６０の出力の変化と比べてなだらかになっている。
【００６７】
すなわち、上述したように、最大輝度に近い輝度の階調を、中間階調の輝度に比べて伸張しないようにしている。
【００６８】
このように、最小輝度付近の輝度および最大輝度付近の輝度の伸張倍率を低減することにより、過度の伸張を防止し、適切な伸張を行うことができる。
【００６９】
また、最小輝度が下限値Lminと等しく、かつ、最大輝度が上限値Lmaxと等しい場合（ステップＳ２２）、係数演算部１６０は係数Ｋ２、Ｋ３を演算し（ステップＳ３６）、伸張処理部１７０は伸張処理Ａを行う（ステップＳ４４）。
【００７０】
なお、係数演算部１６０は係数Ｋ１〜Ｋ４を演算し、伸張処理部１７０は伸張処理Ａ〜Ｄを行うが、これらの具体的な説明は後述する。なお、係数Ｋ１〜Ｋ４は伸張処理Ａ〜Ｄによって描かれる線形曲線の変曲点となる。
【００７１】
また、範囲設定部１５０は、最小輝度が下限値Lmin未満で、かつ、最大輝度が上限値Lmaxと等しい場合（ステップＳ２４）、関数ｆを用いて、最小輝度をLminlに変換し、下限値LminをLmin'に変換し、上限値LmaxをLmax'に変換する（ステップＳ３０）。
【００７２】
また、最小輝度が下限値Lmin未満で、かつ、最大輝度が上限値Lmaxと等しい場合（ステップＳ２４）、係数演算部１６０は係数Ｋ１、Ｋ２、Ｋ３を演算し（ステップＳ３８）、伸張処理部１７０は伸張処理Ｂを行う（ステップＳ４６）。
【００７３】
また、範囲設定部１５０は、最小輝度が下限値Lminと等しく、かつ、最大輝度が上限値Lmaxを超える場合（ステップＳ２６）、関数ｆを用いて、最大輝度をLmaxrに変換し、下限値LminをLmin'に変換し、上限値LmaxをLmax'に変換する（ステップＳ３０）。
【００７４】
また、最小輝度が下限値Lminと等しく、かつ、最大輝度が上限値Lmaxを超える場合（ステップＳ２６）、係数演算部１６０は係数Ｋ２、Ｋ３、Ｋ４を演算し（ステップＳ４０）、伸張処理部１７０は伸張処理Ｃを行う（ステップＳ４８）。
【００７５】
また、上記のいずれの場合にもあてはまらない場合、すなわち、最小輝度が下限値Lmin未満で、かつ、最大輝度が上限値Lmaxを超える場合、範囲設定部１５０は、関数ｆを用いて、最小輝度をLminlに変換し、最大輝度をLmaxrに変換し、下限値LminをLmin'に変換し、上限値LmaxをLmax'に変換する（ステップＳ３４）。
【００７６】
また、最小輝度が下限値Lmin未満で、かつ、最大輝度が上限値Lmaxを超える場合、係数演算部１６０は係数Ｋ１、Ｋ２、Ｋ３、Ｋ４を演算し（ステップＳ４２）、伸張処理部１７０は伸張処理Ｄを行う（ステップＳ５０）。
【００７７】
以下、伸張処理Ａ〜Ｄについて順に説明する。
【００７８】
伸張処理Ａ〜Ｄでは、必要に応じて係数Ｋ１〜Ｋ４を用いる。
【００７９】
ここで、Ｋ１＝（Lmin'−Lminl）／（Lmin−最小輝度）であり、Ｋ２＝（Lmid−Lmin'）／（Lmid−Lmin）であり、Ｋ３＝（Lmax'−Lmid）／（Lmax−Lmid）であり、Ｋ４＝（Lmaxr−Lmax'）／（最大輝度−Lmax）である。
【００８０】
なお、Lmidとは、一般的にAPL(Average Picture Level)と呼ばれる１画像内の平均輝度のことである。すなわち、Lmid＝（１画像内の輝度の総和）／（全画素数）である。
【００８１】
図５は、本実施形態の一例に係る伸張処理Ａを行った場合の伸張処理前の輝度と伸張処理後の輝度を示す図である。
【００８２】
Ｒ、Ｇ、Ｂの各色入力信号をCin、Ｒ、Ｇ、Ｂの各色出力信号をCoutとする。
【００８３】
伸張処理Ａでは、基準輝度がLmin以上かつLmid未満の場合、Cout＝（Ｋ２（１−Lmin／基準輝度）＋Lmin'／基準輝度）Cinとして色信号を出力し、基準輝度がLmid以上かつLmax以下の場合、Cout＝（Ｋ３（１−Lmid／基準輝度）＋Lmid／基準輝度）Cinとして色信号を出力する。
【００８４】
このような入出力の変換を行うことにより、（Ｒ＋Ｇ＋Ｂ）／３によって求められる基準輝度の輝度信号の入出力特性は、図５に示すように、（Lmin，Lmin'）、（Lmid，Lmid）、（Lmax，Lmax'）を変曲点とする線形のグラフとして表すことができる。
【００８５】
次に、伸張処理Ｂについて説明する。
【００８６】
図６は、本実施形態の一例に係る伸張処理Ｂを行った場合の伸張処理前の輝度と伸張処理後の輝度を示す図である。
【００８７】
伸張処理Ｂでは、基準輝度が最小輝度以上かつLmin未満の場合、Cout＝（Ｋ１（１−最小輝度／基準輝度）＋Lminl／基準輝度）Cinとして色信号を出力し、基準輝度がLmin以上かつLmid未満の場合、Cout＝（Ｋ２（１−Lmin／基準輝度）＋Lmin'／基準輝度）Cinとして色信号を出力し、基準輝度がLmid以上かつLmax未満の場合、Cout＝（Ｋ３（１−Lmid／基準輝度）＋Lmax'／基準輝度）Cinとして色信号を出力する。
【００８８】
このような入出力の変換を行うことにより、基準輝度の輝度信号の入出力特性は、図６に示すように、（最小輝度，Lminl）、（Lmin，Lmin'）、（Lmid，Lmid）、（Lmax，Lmax'）を変曲点とする線形のグラフとして表すことができる。
【００８９】
次に、伸張処理Ｃについて説明する。
【００９０】
図７は、本実施形態の一例に係る伸張処理Ｃを行った場合の伸張処理前の輝度と伸張処理後の輝度を示す図である。
【００９１】
伸張処理Ｃでは、基準輝度がLmin以上かつLmid未満の場合、Cout＝（Ｋ２（１−Lmin／基準輝度）＋Lmin'／基準輝度）Cinとして色信号を出力し、基準輝度がLmid以上かつLmax未満の場合、Cout＝（Ｋ３（１−Lmid／基準輝度）＋Lmid／基準輝度）Cinとして色信号を出力し、基準輝度がLmax以上かつ最大輝度以下の場合、Cout＝（Ｋ４（１−Lmax／基準輝度）＋Lmax'／基準輝度）Cinとして色信号を出力する。
【００９２】
このような入出力の変換を行うことにより、基準輝度の輝度信号の入出力特性は、図７に示すように、（Lmin，Lmin'）、（Lmid，Lmid）、（Lmax，Lmax'）、（最大輝度，Lmaxr）を変曲点とする線形のグラフとして表すことができる。
【００９３】
次に、伸張処理Ｄについて説明する。
【００９４】
図８は、本実施形態の一例に係る伸張処理Ｄを行った場合の伸張処理前の輝度と伸張処理後の輝度を示す図である。
【００９５】
伸張処理Ｄでは、基準輝度が最小輝度以上かつLmin未満の場合、Cout＝（Ｋ１（１−最小輝度／基準輝度）＋Lminl／基準輝度）Cinとして色信号を出力し、基準輝度がLmin以上かつLmid未満の場合、Cout＝（Ｋ２（１−Lmin／基準輝度）＋Lmin'／基準輝度）Cinとして色信号を出力し、基準輝度がLmid以上かつLmax未満の場合、Cout＝（Ｋ３（１−Lmid／基準輝度）＋Lmid／基準輝度）Cinとして色信号を出力し、基準輝度がLmax以上かつ最大輝度以下の場合、Cout＝（Ｋ４（１−Lmax／基準輝度）＋Lmax'／基準輝度）Cinとして色信号を出力する。
【００９６】
このような入出力の変換を行うことにより、基準輝度の輝度信号の入出力特性は、図８に示すように、（最小輝度，Lminl）、（Lmin，Lmin'）、（Lmid，Lmid）、（Lmax，Lmax'）、（最大輝度，Lmaxr）を変曲点とする線形のグラフとして表すことができる。
【００９７】
次に、輝度分布の変化について説明する。
【００９８】
図９において、図９（Ａ）は従来の手法を用いた場合のＲＧＢ信号伸張処理前後の輝度分布の変化を示す図であり、図９（Ｂ）は本実施形態の手法を用いた場合のＲＧＢ信号伸張処理前後の輝度分布の変化を示す図である。
【００９９】
図９（Ａ）と図９（Ｂ）を比較すれば分かるように、従来はＲＧＢ信号伸張処理後の出力が不十分な箇所もあるが、本実施形態によれば平均輝度±４σの範囲以内の強調範囲の伸張度合いを高めることによりＲＧＢ信号伸張処理後に十分な出力を得ている。
【０１００】
以上のように、本実施形態によれば、例えば、映画のように全体が暗い画像の中で字幕部分の輝度が高いといった場合であっても、平均輝度−αから平均輝度＋αまでの所定の範囲の伸張倍率を相対的に高めることにより、輝度が集中している部分を十分に伸張することができ、輝度が集中している部分でダイナミックレンジを広く確保することができる。
【０１０１】
これにより、例えば、低輝度側に輝度分布が偏っているような画像に対しても、見た目のコントラストを改善することができる。
【０１０２】
また、特に液晶プロジェクタ等の液晶表示装置では、光源から液晶パネルに光を投射するため黒浮きが発生しやすいが、本実施形態によれば黒浮きを適切に防止できる。
【０１０３】
また、本実施形態によれば、最小輝度と平均輝度−α、最大輝度と平均輝度＋αをそれぞれ比較して適切な方の値を強調範囲の下限値または上限値として設定することができる。
【０１０４】
これにより、より適切に輝度の伸張を行うことができる。
【０１０５】
さらに、本実施形態によれば、最小輝度と強調範囲の下限値、最大輝度と強調範囲の上限値をそれぞれ比較して比較結果に応じて異なる伸張処理を行うことにより、輝度の散らばりに応じた適切な伸張処理を行うことができる。
【０１０６】
（変形例）
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。
【０１０７】
例えば、上述した実施例では、標準偏差値σを４倍した値をαとした場合に、α＝４σを用いたが、４倍に限定されず、例えば、３倍であってもよく、整数倍でなくてもよい。σを１倍〜２倍した値では範囲が狭すぎ、５倍以上だと範囲が広すぎる場合もあるが、３倍〜４倍とすることにより、適切な強調範囲を設定することができる。これは、ある分布において平均値±３σの外の値をとる確率は、分布形状に関わらず、１／９以下になることによる。
【０１０８】
また、例えば、上述した画像処理部１００の各部を複数の装置に分散して白黒伸張処理を行ってもよい。
【０１０９】
また、上述した実施例ではフレーム単位に処理したが、例えば、フィールド単位に画像処理を行ってもよい。
【０１１０】
また、上述した液晶プロジェクタ以外の表示装置の画像処理部に対しても本実施形態の画像処理部１００を適用できる。このような表示装置としては、例えば、液晶プロジェクタのほか、ＤＭＤ（Ｄｉｇｉｔａｌ ＭｉｃｒｏｍｉｒｒｏｒＤｅｖｉｃｅ）を用いたプロジェクタや、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、ＦＥＤ（Ｆｉｅｌｄ Ｅｍｉｓｓｉｏｎ Ｄｉｓｐｌａｙ）、ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）、直視型液晶表示装置等のディスプレイ装置等が該当する。なお、ＤＭＤは、米国テキサスインスツルメンツ社の商標である。また、プロジェクタは前面投写型のものに限られず、背面投写型のものであってもよい。
【図面の簡単な説明】
【図１】本実施形態の一例に係る画像処理部の機能ブロック図である。
【図２】本実施形態の一例に係る白黒伸張処理のフローチャートである。
【図３】本実施形態の一例に係る最小輝度、最大輝度に応じた伸張処理のフローチャートである。
【図４】図４（Ａ）は、本実施形態の一例に係るLminおよび最小輝度を入力した場合の関数ｆによる出力Lmin'およびLminlを示す図であり、図４（Ｂ）は、本実施形態の一例に係るLminおよび最小輝度を入力した場合の関数ｆによる出力Lmin'およびLminlを示す図である。
【図５】本実施形態の一例に係る伸張処理Ａを行った場合の伸張処理前の輝度と伸張処理後の輝度を示す図である。
【図６】本実施形態の一例に係る伸張処理Ｂを行った場合の伸張処理前の輝度と伸張処理後の輝度を示す図である。
【図７】本実施形態の一例に係る伸張処理Ｃを行った場合の伸張処理前の輝度と伸張処理後の輝度を示す図である。
【図８】本実施形態の一例に係る伸張処理Ｄを行った場合の伸張処理前の輝度と伸張処理後の輝度を示す図である。
【図９】図９（Ａ）は従来の手法を用いた場合のＲＧＢ信号伸張処理前後の輝度分布の変化を示す図であり、図９（Ｂ）は本実施形態の手法を用いた場合のＲＧＢ信号伸張処理前後の輝度分布の変化を示す図である。
【符号の説明】
１１０ 輝度演算部
１２０ 平均輝度演算部
１３０ 標準偏差演算部
１４０ 最大最小輝度検出部
１５０ 範囲設定部
１６０ 係数演算部
１７０ 伸張処理部
２００ 情報記憶媒体
【発明の属する技術分野】
本発明は、映像信号を白方向または黒方向に伸張する処理を行うための画像処理システム、プロジェクタ、プログラムおよび情報記憶媒体に関する。
【０００２】
【背景技術および発明が解決しようとする課題】
例えば、液晶パネル等を用いて画像を表示する際に、入力映像信号の最黒部分が所定レベルよりも浮いている場合、当該最黒部分が所定レベルになるように入力映像信号を黒方向に伸張することが行われている。また、入力映像信号の最白部分が所定レベルよりも沈んでいる場合、当該最白部分が所定レベルになるように入力映像信号を白方向に伸張することが行われている。
【０００３】
しかし、例えば、映画のように大部分が暗い画像の中の一部に白い字幕が含まれる画像を表示するような場合、画像の大部分の輝度は低く、狭い輝度範囲に属しているが、字幕部分の輝度が高いために、画像全体としては輝度分布が広くなる。
【０００４】
このような場合、広くなった輝度範囲に対して伸張処理を行うために、画像の大部分が含まれる低輝度部分の輝度範囲を適切に伸張することができない。
【０００５】
このような輝度分布が偏っている場合の階調補正の手法として、特開２０００−３２２０４７号公報では、輝度のヒストグラムの分散値に応じて階調補正を行う手法が提案されている。
【０００６】
当該手法では、累積ヒストグラムと、輝度のヒストグラムの分散値から求まる係数（上記公報では混合比と表現）に従って、輝度分布の偏りが小さい場合は階調補正の度合いを大きくし、輝度分布の偏りが大きい場合は階調補正の度合いを小さくしている。
【０００７】
このため、上記の場合のように、低輝度側に輝度分布が偏っている場合には、ほとんど階調補正がなされず、見た目のコントラストを改善する効果が少ない。
【０００８】
本発明は、上記課題に鑑みなされたものであり、その目的は、輝度分布が偏っている場合であっても、黒浮きを防止し、見た目のコントラストを改善することが可能な画像処理システム、プロジェクタ、プログラムおよび情報記憶媒体を提供することにある。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像処理システムは、映像信号を白側または黒側に伸張する処理を行う画像処理システムにおいて、
前記映像信号に基づき、所定の基準輝度を演算する輝度演算手段と、
当該基準輝度に基づき、所定の画像処理単位ごとの平均輝度を演算する平均輝度演算手段と、
前記基準輝度と、前記平均輝度とに基づき、前記基準輝度の散らばり具合を示す標準偏差値を演算する標準偏差演算手段と、
前記平均輝度と、前記標準偏差値とに基づき、前記標準偏差値を所定倍した値をαとした場合に、前記平均輝度−αから前記平均輝度＋αまでのうち所定の範囲を、前記映像信号の伸張を強調する強調範囲として設定し、強調範囲以外の範囲を、前記映像信号の伸張を強調しない不強調範囲として設定する範囲設定手段と、
前記基準輝度が前記強調範囲内にある場合には前記不強調範囲内にある場合と比べて伸張の度合いを相対的に高くして前記映像信号の伸張を行う伸張処理手段と、
を含むことを特徴とする。
【００１０】
また、本発明に係るプロジェクタは、上記画像処理システムを備えたことを特徴とする。
【００１１】
また、本発明に係るプログラムは、映像信号を白側または黒側に伸張する処理を行うためのコンピュータ読み取り可能なプログラムであって、
コンピュータを、
前記映像信号に基づき、所定の基準輝度を演算する輝度演算手段と、
当該基準輝度に基づき、所定の画像処理単位ごとの平均輝度を演算する平均輝度演算手段と、
前記基準輝度と、前記平均輝度とに基づき、前記基準輝度の散らばり具合を示す標準偏差値を演算する標準偏差演算手段と、
前記平均輝度と、前記標準偏差値とに基づき、前記標準偏差値を所定倍した値をαとした場合に、前記平均輝度−αから前記平均輝度＋αまでのうち所定の範囲を、前記映像信号の伸張を強調する強調範囲として設定し、強調範囲以外の範囲を、前記映像信号の伸張を強調しない不強調範囲として設定する範囲設定手段と、
前記基準輝度が前記強調範囲内にある場合には前記不強調範囲内にある場合と比べて伸張の度合いを相対的に高くして前記映像信号の伸張を行う伸張処理手段として機能させることを特徴とする。
【００１２】
また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能な情報記憶媒体であって、
コンピュータを、上記手段として機能させるためのプログラムを記憶したことを特徴とする。
【００１３】
本発明によれば、例えば、映画のように全体が暗い画像の中で字幕部分の輝度が高いといった場合であっても、平均輝度−αから平均輝度＋αまでの所定の範囲の伸張倍率を相対的に高めることにより、輝度が集中している部分を十分に伸張することができる。
【００１４】
これにより、例えば、低輝度側に輝度分布が偏った映像に対しても、見た目のコントラストを改善することができる。
【００１５】
なお、前記画像処理単位としては、例えば、フレーム、フィールド等が該当する。
【００１６】
また、前記所定倍としては、例えば、３倍〜４倍であってもよい。１倍〜２倍した値では範囲が狭すぎ、５倍以上だと範囲が広すぎる場合もあるが、３倍〜４倍とすることにより、適切な強調範囲を設定することができる。
【００１７】
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記範囲設定手段は、前記平均輝度−αが最小輝度未満の場合には最小輝度を前記強調範囲の下限値として設定し、前記平均輝度−αが最小輝度以上の場合には前記平均輝度−αを前記強調範囲の下限値として設定し、前記平均輝度＋αが最大輝度を超える場合には最大輝度を前記強調範囲の上限値として設定し、前記平均輝度＋αが最大輝度以下の場合には前記平均輝度＋αを前記強調範囲の上限値として設定してもよい。
【００１８】
これによれば、最小輝度と平均輝度−α、最大輝度と平均輝度＋αをそれぞれ比較して適切な方の値を強調範囲の下限値または上限値として設定することができる。
【００１９】
これにより、より適切に輝度の伸張を行うことができる。
【００２０】
また、前記画像処理システム、前記プロジェクタ、前記プログラムおよび前記情報記憶媒体において、前記伸張処理手段は、前記最小輝度が前記強調範囲の下限値であり、かつ、前記最大輝度が前記強調範囲の上限値である場合、前記最小輝度が前記強調範囲の下限値未満であり、かつ、前記最大輝度が前記強調範囲の上限値である場合、前記最小輝度が前記強調範囲の下限値であり、かつ、前記最大輝度が前記強調範囲の上限値を超える場合、前記最小輝度が前記強調範囲の下限値未満であり、かつ、前記最大輝度が前記強調範囲の上限値を超える場合のそれぞれの場合に応じて異なる伸張処理を行ってもよい。
【００２１】
これによれば、最小輝度と強調範囲の下限値、最大輝度と強調範囲の上限値をそれぞれ比較して比較結果に応じて異なる伸張処理を行うことにより、輝度の散らばりに応じた適切な伸張処理を行うことができる。
【００２２】
また、本発明に係る白黒伸張処理方法は、映像信号に対して白黒伸張処理を行う白黒伸張処理方法において、
前記映像信号に基づき、入力輝度の全範囲を複数の範囲に区分して当該範囲に属する入力輝度の分布を把握し、
前記複数の範囲において、当該範囲に属する入力輝度の分布数が多い範囲を分布数が少ない範囲に比べて相対的に伸張倍率を高めるように伸張倍率を決定し、
決定した伸張倍率に応じて前記映像信号を白側または黒側に伸張して出力輝度として出力することを特徴とする。
【００２３】
本発明によれば、例えば、映画のように全体が暗い画像の中で字幕部分の輝度が高いといった場合であっても、入力輝度の分布が多い範囲の伸張倍率を相対的に高めることにより、輝度が集中している部分を十分に伸張することができる。
【００２４】
これにより、例えば、低輝度側に輝度分布が偏った映像に対しても、見た目のコントラストを改善することができる。
【００２５】
また、前記白黒伸張処理方法において、前記全範囲における前記入力輝度の散らばり具合と、前記入力輝度の最小値と、前記入力輝度の最大値とに基づき、前記分布数が多い範囲の下限値と上限値を決定してもよい。
【００２６】
これによれば、全範囲における前記入力輝度の散らばり具合と、最小輝度と、最大輝度に基づいて分布数が多い範囲の下限値または上限値を設定することにより、輝度の散らばり具合をより適切に考慮することができ、より適切に輝度の伸張を行うことができる。
【００２７】
また、前記白黒伸張処理方法において、過度の伸張を防止するために、最小輝度および最大輝度の少なくとも一方の伸張倍率を低減してもよい。
【００２８】
これによれば、最小輝度および最大輝度の少なくとも一方の伸張倍率を低減することにより、過度の伸張を防止し、適切な伸張を行うことができる。
【００２９】
また、前記画像処理システム、前記プログラム、前記情報記憶媒体および前記白黒伸張処理方法は、液晶表示用に用いられるものであってもよい。
【００３０】
これによれば、液晶表示の場合に発生しやすい黒浮きを適切に防止することができる。
【００３１】
【発明の実施の形態】
以下、本発明を、映像信号の一種であるＲＧＢ信号を入力し、コントラストの増加等のため、映像信号を白側または黒側に伸張する白黒伸張処理を行う液晶プロジェクタの画像処理部に適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。
【００３２】
（機能ブロックの説明）
図１は、本実施形態の一例に係る画像処理部１００の機能ブロック図である。
【００３３】
本実施形態の画像処理部１００は、ＲＧＢ信号に基づいて基準輝度を演算する輝度演算部１１０と、基準輝度に基づき平均輝度を演算する平均輝度演算部１２０と、基準輝度と平均輝度に基づき標準偏差値を演算する標準偏差演算部１３０と、１フレームにおける基準輝度の最大値と最小値を演算する最大最小輝度検出部１４０とを含んで構成されている。
【００３４】
また、本実施形態の画像処理部１００は、平均輝度、標準偏差値、最小輝度、最大輝度に基づいて伸張倍率を高める範囲を設定する範囲設定部１５０と、伸張処理用の係数を演算する係数演算部１６０と、ＲＧＢ信号の伸張処理を行う伸張処理部１７０とを含んで構成されている。
【００３５】
また、画像処理部１００には情報記憶媒体２００が接続され、画像処理部１００が情報記憶媒体２００に記憶されたプログラムを読み取って範囲設定部１５０等の機能を画像処理部１００内のコンピュータに実現させることも可能となっている。
【００３６】
なお、画像処理部１００は、情報記憶媒体２００ではなくホスト装置等に記憶されたプログラムを、ネットワークを介して読み取って範囲設定部１５０等の機能を実現することも可能である。
【００３７】
また、画像処理部１００内の各部のハードウェアとしては回路やプログラムを用いて実現できる。
【００３８】
また、情報記憶媒体２００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＲＯＭ、ＲＡＭ、ＨＤＤ等を適用でき、そのプログラムの読み取り方式は接触方式であっても、非接触方式であってもよい。
【００３９】
（白黒伸張処理の説明）
以下、画像処理部１００内の各部を用いた処理の流れについて説明する。
【００４０】
一般的な方式では、基準輝度は、０．３０×Ｒ信号＋０．５９×Ｇ信号＋０．１１×Ｂ信号として求められている。このように重み付けが異なるのは人間の目の感度が異なるからである。
【００４１】
しかし、白黒伸張を行う場合、上記数式を用いて輝度を求めた場合、Ｇの輝度成分が高い部分がより顕著に伸張されてしまう。
【００４２】
そこで、本実施形態の輝度演算部１１０は、ＲＧＢ形式で映像信号が入力される場合、基準輝度Ｙを（Ｒ信号＋Ｇ信号＋Ｂ信号）／３として求めている。
【００４３】
また、平均輝度演算部１２０は、１フレームごとの基準輝度Ｙの平均値を演算する。
【００４４】
また、標準偏差演算部１３０は、基準輝度、平均輝度に基づき、標準偏差値σを演算する。
【００４５】
さらに、最大最小輝度検出部１４０は、輝度演算部１１０からの基準輝度に基づき、１フレームごとに基準輝度の最大値と最小値を検出する。
【００４６】
なお、フレームの切り替わりのタイミングについては、平均輝度演算部１２０や最大最小輝度検出部１４０は、垂直同期信号に基づいて判断することができる。
【００４７】
次に、範囲設定部１５０以下の処理について説明する。
【００４８】
図２は、本実施形態の一例に係る白黒伸張処理のフローチャートである。
【００４９】
範囲設定部１５０は、入力される輝度範囲において、伸張倍率を高くする強調範囲と伸張倍率を高くしない不強調範囲を設定するために、まず、平均輝度−４σと、平均輝度＋４σを演算する（ステップＳ２）。
【００５０】
そして、範囲設定部１５０は、平均輝度−４σと、最大最小輝度検出部１４０によって求められた最小輝度を比較し（ステップＳ４）、平均輝度−４σ＜最小輝度が成り立つ場合、強調範囲の下限値Lminとして最小輝度を設定し（ステップＳ６）、平均輝度−４σ＜最小輝度が成り立たない場合、強調範囲の下限値Lminとして平均輝度−４σを設定する（ステップＳ８）。
【００５１】
このような処理を行うのは、平均輝度−４σよりも最小輝度のほうが大きい場合に強調範囲の下限値として平均輝度−４σを設定すると、平均輝度−４σから最小輝度までの範囲は実際にはあり得ない輝度であるにも関わらず、強調範囲として設定してしまうことになり不適切だからである。
【００５２】
最小輝度の判定と同様に、範囲設定部１５０は、平均輝度＋４σと、最大最小輝度検出部１４０によって求められた最大輝度を比較し（ステップＳ１０）、平均輝度＋４σ＞最大輝度が成り立つ場合、強調範囲の上限値Lmaxとして最大輝度を設定し（ステップＳ１２）、平均輝度＋４σ＞最大輝度が成り立たない場合、強調範囲の上限値Lmaxとして平均輝度＋４σを設定する（ステップＳ１４）。
【００５３】
以上のように、平均輝度、標準偏差値σ、最小輝度、最大輝度に基づいて強調範囲を設定することにより、輝度分布が集中している範囲を強調範囲として設定することができる。
【００５４】
そして、伸張処理部１７０は、最小輝度、最大輝度に応じた伸張処理を行う（ステップＳ１６）。
【００５５】
以下、最小輝度、最大輝度に応じた伸張処理（ステップＳ１６）について説明する。
【００５６】
図３は、本実施形態の一例に係る最小輝度、最大輝度に応じた伸張処理のフローチャートである。
【００５７】
本実施の形態では、最大輝度に近い輝度の階調および最小輝度に近い輝度の階調を、中間階調の輝度に比べて伸張しないようにしている。なぜなら輝度が０に近い領域、すなわち、黒に近い領域では最大輝度を伸張すると色がつぶれてしまうからである。同様に、輝度が１０２３に近く白に近い領域でも最大輝度を伸張すると色がつぶれてしまうからである。
【００５８】
また、このように、最大輝度や最小輝度に近い領域で伸張倍率を下げた場合でも、最大輝度や最小輝度に近い領域の画素の階調の変化は見分けにくいため、中間階調をより伸張させることにより、効果的に白黒伸張を行うことができる。
【００５９】
このような伸張を行うため、伸張処理部１７０は、最小輝度と下限値Lmin、最大輝度と上限値Lmaxの大小関係で場合分けした４つの場合のそれぞれに応じて異なる伸張処理を行う。
【００６０】
まず、範囲設定部１５０は、最小輝度が下限値Lminと等しく、かつ、最大輝度が上限値Lmaxと等しい場合（ステップＳ２２）、関数ｆを用いて、下限値LminをLmin'に変換し、上限値LmaxをLmax'に変換する（ステップＳ２８）。
【００６１】
なお、関数ｆは白黒伸張のための関数である。
【００６２】
図４において、図４（Ａ）は、本実施形態の一例に係るLminおよび最小輝度を入力した場合の関数ｆによる出力Lmin'およびLminlを示す図であり、図４（Ｂ）は、本実施形態の一例に係るLminおよび最小輝度を入力した場合の関数ｆによる出力Lmin'およびLminlを示す図である。
【００６３】
図４（Ａ）および図４（Ｂ）において、点線が伸張前の入出力特性を示し、実線が伸張後の入出力特性を示している。
【００６４】
図４（Ａ）を見れば分かるように、最小輝度の変換に関しては、低輝度側（黒側）の輝度０〜１６０の出力の変化は、高輝度側（白側）の輝度１６１〜１０２３までの出力の変化と比べてなだらかになっている。
【００６５】
すなわち、上述したように、最小輝度に近い輝度の階調を、中間階調の輝度に比べて伸張しないようにしている。
【００６６】
また、図４（Ｂ）を見れば分かるように、最大輝度の変換に関しては、高輝度側（白側）の輝度１６１〜１０２３までの出力の変化は、低輝度側（黒側）の輝度０〜１６０の出力の変化と比べてなだらかになっている。
【００６７】
すなわち、上述したように、最大輝度に近い輝度の階調を、中間階調の輝度に比べて伸張しないようにしている。
【００６８】
このように、最小輝度付近の輝度および最大輝度付近の輝度の伸張倍率を低減することにより、過度の伸張を防止し、適切な伸張を行うことができる。
【００６９】
また、最小輝度が下限値Lminと等しく、かつ、最大輝度が上限値Lmaxと等しい場合（ステップＳ２２）、係数演算部１６０は係数Ｋ２、Ｋ３を演算し（ステップＳ３６）、伸張処理部１７０は伸張処理Ａを行う（ステップＳ４４）。
【００７０】
なお、係数演算部１６０は係数Ｋ１〜Ｋ４を演算し、伸張処理部１７０は伸張処理Ａ〜Ｄを行うが、これらの具体的な説明は後述する。なお、係数Ｋ１〜Ｋ４は伸張処理Ａ〜Ｄによって描かれる線形曲線の変曲点となる。
【００７１】
また、範囲設定部１５０は、最小輝度が下限値Lmin未満で、かつ、最大輝度が上限値Lmaxと等しい場合（ステップＳ２４）、関数ｆを用いて、最小輝度をLminlに変換し、下限値LminをLmin'に変換し、上限値LmaxをLmax'に変換する（ステップＳ３０）。
【００７２】
また、最小輝度が下限値Lmin未満で、かつ、最大輝度が上限値Lmaxと等しい場合（ステップＳ２４）、係数演算部１６０は係数Ｋ１、Ｋ２、Ｋ３を演算し（ステップＳ３８）、伸張処理部１７０は伸張処理Ｂを行う（ステップＳ４６）。
【００７３】
また、範囲設定部１５０は、最小輝度が下限値Lminと等しく、かつ、最大輝度が上限値Lmaxを超える場合（ステップＳ２６）、関数ｆを用いて、最大輝度をLmaxrに変換し、下限値LminをLmin'に変換し、上限値LmaxをLmax'に変換する（ステップＳ３０）。
【００７４】
また、最小輝度が下限値Lminと等しく、かつ、最大輝度が上限値Lmaxを超える場合（ステップＳ２６）、係数演算部１６０は係数Ｋ２、Ｋ３、Ｋ４を演算し（ステップＳ４０）、伸張処理部１７０は伸張処理Ｃを行う（ステップＳ４８）。
【００７５】
また、上記のいずれの場合にもあてはまらない場合、すなわち、最小輝度が下限値Lmin未満で、かつ、最大輝度が上限値Lmaxを超える場合、範囲設定部１５０は、関数ｆを用いて、最小輝度をLminlに変換し、最大輝度をLmaxrに変換し、下限値LminをLmin'に変換し、上限値LmaxをLmax'に変換する（ステップＳ３４）。
【００７６】
また、最小輝度が下限値Lmin未満で、かつ、最大輝度が上限値Lmaxを超える場合、係数演算部１６０は係数Ｋ１、Ｋ２、Ｋ３、Ｋ４を演算し（ステップＳ４２）、伸張処理部１７０は伸張処理Ｄを行う（ステップＳ５０）。
【００７７】
以下、伸張処理Ａ〜Ｄについて順に説明する。
【００７８】
伸張処理Ａ〜Ｄでは、必要に応じて係数Ｋ１〜Ｋ４を用いる。
【００７９】
ここで、Ｋ１＝（Lmin'−Lminl）／（Lmin−最小輝度）であり、Ｋ２＝（Lmid−Lmin'）／（Lmid−Lmin）であり、Ｋ３＝（Lmax'−Lmid）／（Lmax−Lmid）であり、Ｋ４＝（Lmaxr−Lmax'）／（最大輝度−Lmax）である。
【００８０】
なお、Lmidとは、一般的にAPL(Average Picture Level)と呼ばれる１画像内の平均輝度のことである。すなわち、Lmid＝（１画像内の輝度の総和）／（全画素数）である。
【００８１】
図５は、本実施形態の一例に係る伸張処理Ａを行った場合の伸張処理前の輝度と伸張処理後の輝度を示す図である。
【００８２】
Ｒ、Ｇ、Ｂの各色入力信号をCin、Ｒ、Ｇ、Ｂの各色出力信号をCoutとする。
【００８３】
伸張処理Ａでは、基準輝度がLmin以上かつLmid未満の場合、Cout＝（Ｋ２（１−Lmin／基準輝度）＋Lmin'／基準輝度）Cinとして色信号を出力し、基準輝度がLmid以上かつLmax以下の場合、Cout＝（Ｋ３（１−Lmid／基準輝度）＋Lmid／基準輝度）Cinとして色信号を出力する。
【００８４】
このような入出力の変換を行うことにより、（Ｒ＋Ｇ＋Ｂ）／３によって求められる基準輝度の輝度信号の入出力特性は、図５に示すように、（Lmin，Lmin'）、（Lmid，Lmid）、（Lmax，Lmax'）を変曲点とする線形のグラフとして表すことができる。
【００８５】
次に、伸張処理Ｂについて説明する。
【００８６】
図６は、本実施形態の一例に係る伸張処理Ｂを行った場合の伸張処理前の輝度と伸張処理後の輝度を示す図である。
【００８７】
伸張処理Ｂでは、基準輝度が最小輝度以上かつLmin未満の場合、Cout＝（Ｋ１（１−最小輝度／基準輝度）＋Lminl／基準輝度）Cinとして色信号を出力し、基準輝度がLmin以上かつLmid未満の場合、Cout＝（Ｋ２（１−Lmin／基準輝度）＋Lmin'／基準輝度）Cinとして色信号を出力し、基準輝度がLmid以上かつLmax未満の場合、Cout＝（Ｋ３（１−Lmid／基準輝度）＋Lmax'／基準輝度）Cinとして色信号を出力する。
【００８８】
このような入出力の変換を行うことにより、基準輝度の輝度信号の入出力特性は、図６に示すように、（最小輝度，Lminl）、（Lmin，Lmin'）、（Lmid，Lmid）、（Lmax，Lmax'）を変曲点とする線形のグラフとして表すことができる。
【００８９】
次に、伸張処理Ｃについて説明する。
【００９０】
図７は、本実施形態の一例に係る伸張処理Ｃを行った場合の伸張処理前の輝度と伸張処理後の輝度を示す図である。
【００９１】
伸張処理Ｃでは、基準輝度がLmin以上かつLmid未満の場合、Cout＝（Ｋ２（１−Lmin／基準輝度）＋Lmin'／基準輝度）Cinとして色信号を出力し、基準輝度がLmid以上かつLmax未満の場合、Cout＝（Ｋ３（１−Lmid／基準輝度）＋Lmid／基準輝度）Cinとして色信号を出力し、基準輝度がLmax以上かつ最大輝度以下の場合、Cout＝（Ｋ４（１−Lmax／基準輝度）＋Lmax'／基準輝度）Cinとして色信号を出力する。
【００９２】
このような入出力の変換を行うことにより、基準輝度の輝度信号の入出力特性は、図７に示すように、（Lmin，Lmin'）、（Lmid，Lmid）、（Lmax，Lmax'）、（最大輝度，Lmaxr）を変曲点とする線形のグラフとして表すことができる。
【００９３】
次に、伸張処理Ｄについて説明する。
【００９４】
図８は、本実施形態の一例に係る伸張処理Ｄを行った場合の伸張処理前の輝度と伸張処理後の輝度を示す図である。
【００９５】
伸張処理Ｄでは、基準輝度が最小輝度以上かつLmin未満の場合、Cout＝（Ｋ１（１−最小輝度／基準輝度）＋Lminl／基準輝度）Cinとして色信号を出力し、基準輝度がLmin以上かつLmid未満の場合、Cout＝（Ｋ２（１−Lmin／基準輝度）＋Lmin'／基準輝度）Cinとして色信号を出力し、基準輝度がLmid以上かつLmax未満の場合、Cout＝（Ｋ３（１−Lmid／基準輝度）＋Lmid／基準輝度）Cinとして色信号を出力し、基準輝度がLmax以上かつ最大輝度以下の場合、Cout＝（Ｋ４（１−Lmax／基準輝度）＋Lmax'／基準輝度）Cinとして色信号を出力する。
【００９６】
このような入出力の変換を行うことにより、基準輝度の輝度信号の入出力特性は、図８に示すように、（最小輝度，Lminl）、（Lmin，Lmin'）、（Lmid，Lmid）、（Lmax，Lmax'）、（最大輝度，Lmaxr）を変曲点とする線形のグラフとして表すことができる。
【００９７】
次に、輝度分布の変化について説明する。
【００９８】
図９において、図９（Ａ）は従来の手法を用いた場合のＲＧＢ信号伸張処理前後の輝度分布の変化を示す図であり、図９（Ｂ）は本実施形態の手法を用いた場合のＲＧＢ信号伸張処理前後の輝度分布の変化を示す図である。
【００９９】
図９（Ａ）と図９（Ｂ）を比較すれば分かるように、従来はＲＧＢ信号伸張処理後の出力が不十分な箇所もあるが、本実施形態によれば平均輝度±４σの範囲以内の強調範囲の伸張度合いを高めることによりＲＧＢ信号伸張処理後に十分な出力を得ている。
【０１００】
以上のように、本実施形態によれば、例えば、映画のように全体が暗い画像の中で字幕部分の輝度が高いといった場合であっても、平均輝度−αから平均輝度＋αまでの所定の範囲の伸張倍率を相対的に高めることにより、輝度が集中している部分を十分に伸張することができ、輝度が集中している部分でダイナミックレンジを広く確保することができる。
【０１０１】
これにより、例えば、低輝度側に輝度分布が偏っているような画像に対しても、見た目のコントラストを改善することができる。
【０１０２】
また、特に液晶プロジェクタ等の液晶表示装置では、光源から液晶パネルに光を投射するため黒浮きが発生しやすいが、本実施形態によれば黒浮きを適切に防止できる。
【０１０３】
また、本実施形態によれば、最小輝度と平均輝度−α、最大輝度と平均輝度＋αをそれぞれ比較して適切な方の値を強調範囲の下限値または上限値として設定することができる。
【０１０４】
これにより、より適切に輝度の伸張を行うことができる。
【０１０５】
さらに、本実施形態によれば、最小輝度と強調範囲の下限値、最大輝度と強調範囲の上限値をそれぞれ比較して比較結果に応じて異なる伸張処理を行うことにより、輝度の散らばりに応じた適切な伸張処理を行うことができる。
【０１０６】
（変形例）
以上、本発明を適用した好適な実施の形態について説明してきたが、本発明の適用は上述した実施例に限定されない。
【０１０７】
例えば、上述した実施例では、標準偏差値σを４倍した値をαとした場合に、α＝４σを用いたが、４倍に限定されず、例えば、３倍であってもよく、整数倍でなくてもよい。σを１倍〜２倍した値では範囲が狭すぎ、５倍以上だと範囲が広すぎる場合もあるが、３倍〜４倍とすることにより、適切な強調範囲を設定することができる。これは、ある分布において平均値±３σの外の値をとる確率は、分布形状に関わらず、１／９以下になることによる。
【０１０８】
また、例えば、上述した画像処理部１００の各部を複数の装置に分散して白黒伸張処理を行ってもよい。
【０１０９】
また、上述した実施例ではフレーム単位に処理したが、例えば、フィールド単位に画像処理を行ってもよい。
【０１１０】
また、上述した液晶プロジェクタ以外の表示装置の画像処理部に対しても本実施形態の画像処理部１００を適用できる。このような表示装置としては、例えば、液晶プロジェクタのほか、ＤＭＤ（Ｄｉｇｉｔａｌ ＭｉｃｒｏｍｉｒｒｏｒＤｅｖｉｃｅ）を用いたプロジェクタや、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、ＦＥＤ（Ｆｉｅｌｄ Ｅｍｉｓｓｉｏｎ Ｄｉｓｐｌａｙ）、ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）、直視型液晶表示装置等のディスプレイ装置等が該当する。なお、ＤＭＤは、米国テキサスインスツルメンツ社の商標である。また、プロジェクタは前面投写型のものに限られず、背面投写型のものであってもよい。
【図面の簡単な説明】
【図１】本実施形態の一例に係る画像処理部の機能ブロック図である。
【図２】本実施形態の一例に係る白黒伸張処理のフローチャートである。
【図３】本実施形態の一例に係る最小輝度、最大輝度に応じた伸張処理のフローチャートである。
【図４】図４（Ａ）は、本実施形態の一例に係るLminおよび最小輝度を入力した場合の関数ｆによる出力Lmin'およびLminlを示す図であり、図４（Ｂ）は、本実施形態の一例に係るLminおよび最小輝度を入力した場合の関数ｆによる出力Lmin'およびLminlを示す図である。
【図５】本実施形態の一例に係る伸張処理Ａを行った場合の伸張処理前の輝度と伸張処理後の輝度を示す図である。
【図６】本実施形態の一例に係る伸張処理Ｂを行った場合の伸張処理前の輝度と伸張処理後の輝度を示す図である。
【図７】本実施形態の一例に係る伸張処理Ｃを行った場合の伸張処理前の輝度と伸張処理後の輝度を示す図である。
【図８】本実施形態の一例に係る伸張処理Ｄを行った場合の伸張処理前の輝度と伸張処理後の輝度を示す図である。
【図９】図９（Ａ）は従来の手法を用いた場合のＲＧＢ信号伸張処理前後の輝度分布の変化を示す図であり、図９（Ｂ）は本実施形態の手法を用いた場合のＲＧＢ信号伸張処理前後の輝度分布の変化を示す図である。
【符号の説明】
１１０ 輝度演算部
１２０ 平均輝度演算部
１３０ 標準偏差演算部
１４０ 最大最小輝度検出部
１５０ 範囲設定部
１６０ 係数演算部
１７０ 伸張処理部
２００ 情報記憶媒体
Claims (8)
- 映像信号を白側または黒側に伸張する処理を行う画像処理システムにおいて、
前記映像信号に基づき、所定の基準輝度を演算する輝度演算手段と、
当該基準輝度に基づき、所定の画像処理単位ごとの平均輝度を演算する平均輝度演算手段と、
前記基準輝度と、前記平均輝度とに基づき、前記基準輝度の散らばり具合を示す標準偏差値を演算する標準偏差演算手段と、
前記平均輝度と、前記標準偏差値とに基づき、前記標準偏差値を所定倍した値をαとした場合に、前記平均輝度−αから前記平均輝度＋αまでのうち所定の範囲を、前記映像信号の伸張を強調する強調範囲として設定し、強調範囲以外の範囲を、前記映像信号の伸張を強調しない不強調範囲として設定する範囲設定手段と、
前記基準輝度が前記強調範囲内にある場合には前記不強調範囲内にある場合と比べて伸張の度合いを相対的に高くして前記映像信号の伸張を行う伸張処理手段と、
を含むことを特徴とする画像処理システム。 - 請求項１において、
前記範囲設定手段は、前記平均輝度−αが最小輝度未満の場合には最小輝度を前記強調範囲の下限値として設定し、前記平均輝度−αが最小輝度以上の場合には前記平均輝度−αを前記強調範囲の下限値として設定し、前記平均輝度＋αが最大輝度を超える場合には最大輝度を前記強調範囲の上限値として設定し、前記平均輝度＋αが最大輝度以下の場合には前記平均輝度＋αを前記強調範囲の上限値として設定することを特徴とする画像処理システム。 - 請求項２において、
前記伸張処理手段は、前記最小輝度が前記強調範囲の下限値であり、かつ、前記最大輝度が前記強調範囲の上限値である場合、前記最小輝度が前記強調範囲の下限値未満であり、かつ、前記最大輝度が前記強調範囲の上限値である場合、前記最小輝度が前記強調範囲の下限値であり、かつ、前記最大輝度が前記強調範囲の上限値を超える場合、前記最小輝度が前記強調範囲の下限値未満であり、かつ、前記最大輝度が前記強調範囲の上限値を超える場合のそれぞれの場合に応じて異なる伸張処理を行うことを特徴とする画像処理システム。 - 請求項１〜３のいずれかに記載の画像処理システムを備えたことを特徴とするプロジェクタ。
- 映像信号を白側または黒側に伸張する処理を行うためのコンピュータ読み取り可能なプログラムであって、
コンピュータを、
前記映像信号に基づき、所定の基準輝度を演算する輝度演算手段と、
当該基準輝度に基づき、所定の画像処理単位ごとの平均輝度を演算する平均輝度演算手段と、
前記基準輝度と、前記平均輝度とに基づき、前記基準輝度の散らばり具合を示す標準偏差値を演算する標準偏差演算手段と、
前記平均輝度と、前記標準偏差値とに基づき、前記標準偏差値を所定倍した値をαとした場合に、前記平均輝度−αから前記平均輝度＋αまでのうち所定の範囲を、前記映像信号の伸張を強調する強調範囲として設定し、強調範囲以外の範囲を、前記映像信号の伸張を強調しない不強調範囲として設定する範囲設定手段と、
前記基準輝度が前記強調範囲内にある場合には前記不強調範囲内にある場合と比べて伸張の度合いを相対的に高くして前記映像信号の伸張を行う伸張処理手段として機能させることを特徴とするプログラム。 - 請求項５において、
前記範囲設定手段は、前記平均輝度−αが最小輝度未満の場合には最小輝度を前記強調範囲の下限値として設定し、前記平均輝度−αが最小輝度以上の場合には前記平均輝度−αを前記強調範囲の下限値として設定し、前記平均輝度＋αが最大輝度を超える場合には最大輝度を前記強調範囲の上限値として設定し、前記平均輝度＋αが最大輝度以下の場合には前記平均輝度＋αを前記強調範囲の上限値として設定することを特徴とするプログラム。 - 請求項６において、
前記伸張処理手段は、前記最小輝度が前記強調範囲の下限値であり、かつ、前記最大輝度が前記強調範囲の上限値である場合、前記最小輝度が前記強調範囲の下限値未満であり、かつ、前記最大輝度が前記強調範囲の上限値である場合、前記最小輝度が前記強調範囲の下限値であり、かつ、前記最大輝度が前記強調範囲の上限値を超える場合、前記最小輝度が前記強調範囲の下限値未満であり、かつ、前記最大輝度が前記強調範囲の上限値を超える場合のそれぞれの場合に応じて異なる伸張処理を行うことを特徴とするプログラム。 - コンピュータにより読み取り可能な情報記憶媒体であって、請求項５〜７のいずれかのプログラムを記憶したことを特徴とする情報記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002057083A JP3994265B2 (ja) | 2002-03-04 | 2002-03-04 | 画像処理システム、プロジェクタ、プログラムおよび情報記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002057083A JP3994265B2 (ja) | 2002-03-04 | 2002-03-04 | 画像処理システム、プロジェクタ、プログラムおよび情報記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003259154A JP2003259154A (ja) | 2003-09-12 |
| JP3994265B2 true JP3994265B2 (ja) | 2007-10-17 |
Family
ID=28667439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002057083A Expired - Fee Related JP3994265B2 (ja) | 2002-03-04 | 2002-03-04 | 画像処理システム、プロジェクタ、プログラムおよび情報記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3994265B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4082393B2 (ja) * | 2004-07-09 | 2008-04-30 | セイコーエプソン株式会社 | 画像の特徴に応じた階調特性制御 |
| KR100608814B1 (ko) | 2004-07-16 | 2006-08-08 | 엘지전자 주식회사 | 엘씨디 장치의 입력 영상 표시 방법 |
| JP2006317897A (ja) * | 2004-12-22 | 2006-11-24 | Semiconductor Energy Lab Co Ltd | 表示装置、及びその動作方法 |
| US8319714B2 (en) | 2004-12-22 | 2012-11-27 | Semiconductor Energy Laboratory Co., Ltd. | Display device, and method of operation thereof |
| JP2006292863A (ja) * | 2005-04-07 | 2006-10-26 | Sharp Corp | 液晶表示装置及び表示方法 |
| EP1969832A2 (en) * | 2005-09-30 | 2008-09-17 | Nxp B.V. | Dynamic softclipping of video levels |
| JP4631647B2 (ja) * | 2005-10-17 | 2011-02-16 | パナソニック株式会社 | 映像信号処理装置 |
| JP5332173B2 (ja) * | 2006-11-10 | 2013-11-06 | セイコーエプソン株式会社 | 画像表示制御装置 |
| JP5132470B2 (ja) | 2008-08-01 | 2013-01-30 | 三洋電機株式会社 | 画像処理装置 |
| TWI538473B (zh) | 2011-03-15 | 2016-06-11 | 杜比實驗室特許公司 | 影像資料轉換的方法與設備 |
| JP6131474B2 (ja) * | 2013-03-21 | 2017-05-24 | パナソニックＩｐマネジメント株式会社 | 映像処理装置 |
| KR102584522B1 (ko) * | 2016-12-27 | 2023-10-05 | 한화비전 주식회사 | 영상처리장치 및 그의 영상보정방법 |
-
2002
- 2002-03-04 JP JP2002057083A patent/JP3994265B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003259154A (ja) | 2003-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8300070B2 (en) | Moving image display device and moving image display method | |
| US7352410B2 (en) | Method and system for automatic brightness and contrast adjustment of a video source | |
| US7170645B2 (en) | Method and apparatus for enhancing digital image quality | |
| US7245764B2 (en) | Image processing method and image processing apparatus utilizing luminance histograms, and projector | |
| US7394932B2 (en) | Video signal processor and method of processing video signal | |
| US8417032B2 (en) | Adjustment of image luminance values using combined histogram | |
| JP3741212B2 (ja) | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および白黒伸張処理方法 | |
| JP3201449B2 (ja) | 電子ディスプレイの映像表示処理方法およびその装置 | |
| US7646512B2 (en) | Image processing apparatus and method of the same | |
| JP3994265B2 (ja) | 画像処理システム、プロジェクタ、プログラムおよび情報記憶媒体 | |
| US20050259185A1 (en) | Gamma correction apparatus and method capable of preventing noise boost-up | |
| US9406113B2 (en) | Image processing apparatus and image display apparatus | |
| WO2007069478A1 (ja) | 画像処理装置及び画像表示装置 | |
| US8290261B2 (en) | Image processing apparatus and image processing method | |
| JP2007259242A (ja) | 映像信号処理 | |
| JP2010276691A (ja) | 画像処理装置および画像処理方法 | |
| JPH0437263A (ja) | 階調補正装置 | |
| JP2006098614A (ja) | コントラスト補正方法、コントラスト補正回路及び表示装置 | |
| JPH06332399A (ja) | 電子ディスプレイの制御方法およびその装置 | |
| JP4453805B2 (ja) | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 | |
| JP3136850B2 (ja) | 映像信号の階調補正装置 | |
| US7729022B2 (en) | Method for processing image | |
| JPH07322179A (ja) | 電子ディスプレイの映像表示処理方法およびその装置 | |
| JP2003046807A (ja) | 画像表示装置および画像表示方法 | |
| JP2002158894A (ja) | ダイナミックガンマ補正装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050121 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20051220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070511 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070516 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070608 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070704 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070717 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110810 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120810 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130810 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |