JP2017204808A - 投影装置、電子機器及び画像処理方法 - Google Patents
投影装置、電子機器及び画像処理方法 Download PDFInfo
- Publication number
- JP2017204808A JP2017204808A JP2016096840A JP2016096840A JP2017204808A JP 2017204808 A JP2017204808 A JP 2017204808A JP 2016096840 A JP2016096840 A JP 2016096840A JP 2016096840 A JP2016096840 A JP 2016096840A JP 2017204808 A JP2017204808 A JP 2017204808A
- Authority
- JP
- Japan
- Prior art keywords
- image
- projection
- correction
- ambient light
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000012937 correction Methods 0.000 claims abstract description 146
- 238000001514 detection method Methods 0.000 claims description 5
- 230000007423 decrease Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 70
- 238000003384 imaging method Methods 0.000 abstract description 20
- 230000003287 optical effect Effects 0.000 abstract description 11
- 238000000034 method Methods 0.000 description 23
- 230000007613 environmental effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 239000007787 solid Substances 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Video Image Reproduction Devices For Color Tv Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
図1は、本実施形態の概要を説明するための図である。図1は、投影装置であるプロジェクタ100から投影面101(例えばスクリーン)に画像を投影している様子を示している。窓103からは、環境光として太陽光が入射しており、投影面101の右側の領域に太陽光が当たることにより、投影領域102の右側の領域の画像が左側の領域の画像よりも明るく表示されている。その結果、投影領域102の中には、明るい領域と暗い領域との間に境界線が視認できる状態になっている。このような状態において、プロジェクタ100は、投影面101を撮影して得られた撮像画像に基づいて境界線の位置を特定し、特定した境界線の周辺の画像を補正することにより、境界線を目立ちにくくすることができる。
以下、プロジェクタ100の構成及び動作について詳細に説明する。
図3は、プロジェクタ100の構成を示す図である。
制御部410は、例えばCPUであり、ROM412に記憶されたプログラムを実行することにより、プロジェクタ100の各部を制御する。
画像処理部440は、画像入力部420が取得した画像データに対して各種の画像処理を施すことにより投影画像を生成する。詳細については後述するが、画像処理部440は、例えば、環境光の影響によって生じている境界線が視認されにくくなるように、境界線付近の画素の画素値を補正する。
光変調素子470は、光源460から照射された光を変調することにより、出力する光の強度を変化させることができる。赤色(R)の光変調素子470Rは、赤色(R)の光を変調し、緑色(G)の光変調素子470Gは、緑色(G)の光を変調し、青色(B)の光変調素子470Bは、青色(B)の光を変調する。
以下、画像処理部440の構成及び動作の詳細について説明する。
図4は、画像処理部440の構成を示す図である。
強度分布特定部441は、撮像画像処理部492が生成した投影領域画像データに基づいて、投影領域内の環境光による輝度の分布を示す環境光強度分布を特定する。強度分布特定部441は、例えば、投影領域画像データの各画素の輝度値から、表示光学系481が投影した投影画像の各画素の輝度値に対応する値を減算することにより、環境光によって変化した輝度の大きさを算出して、環境光強度分布を特定する。強度分布特定部441は、投影画像が投影されていない状態で撮像部491が生成した撮像画像の輝度の分布を、環境光の強度分布として特定してもよい。
図5は、プロジェクタ100における環境光段差補正処理の動作フローチャートである。
環境光段差補正処理は、ユーザが、リモコン等のユーザインターフェースを介して、環境光による段差を補正することを操作部413に指示した際に、制御部410の指示に基づいて実行される。
まず、制御部410は、画像処理部440に対して、投影領域検出用のテストパターン画像を生成させ、撮像部491に対して、テストパターンが投影されている領域を撮像するように指示する(S101)。画像処理部440は、投影領域検出用のテストパターン画像として、例えば白ベタ画像及び黒ベタ画像を用いる。撮像部491は、白ベタ画像を投影中に白ベタ投影時撮像画像を生成し、黒ベタ画像を投影中に黒ベタ投影時撮像画像を生成する。
Yinput = 0.299Rinput + 0.587Ginput + 0.114Binput
Uinput = -0.169Rinput - 0.331Ginput + 0.500Binput
Vinput = 0.500Rinput - 0.419Ginput - 0.081Binput 式(1)
ここでR、G、Bは画像の各画素の階調値である。
Ygoal = Yinputγ + (Yoffset / 100 * 255) / (1 - Yoffset / 100) 式(2)
ここで、γは表示装置のγ値を表しており、入力画像の輝度値をγ乗することによって輝度リニア空間に変換される。Yoffsetは補正値強度分布の値である。
(YUV)outputを(RGB)outputに変換する式は、以下の式(3)により示される。
Uoutput = Uinput
Voutput = Vinput
Routput = 1.000Youtput + 0.114Voutput
Goutput = 1.000Youtput - 0.344Uoutput - 0.714Voutput
Boutput = 1.000Youtput + 1.772U 式(3)
補正部445は、ITU−R BT.709以外のカラリメトリーの信号に対しても、係数を変えることで同様の演算を施すことができる。
以上の手順によって、プロジェクタ100は、環境光の段差が目立たないように入力画像を補正することができる。以下、さらに補正の効果を向上させるための処理について説明する。
段差処理部442は、図5のステップS105において、環境光の段差幅が所定の閾値以上になるように補正をしていた。しかしながら、実際は、環境光の段差幅だけでなく、強度差も重要な要素であり、段差における環境光の強度差が大きく且つ段差幅が狭く急峻な場合において、環境光段差がユーザに視認されやすくなってしまう。そこで、段差処理部442は、環境光強度の最大値と最小値との差分にさらに基づいて、補正後の段差幅を決めてもよい。そして、補正部445は、環境光段差の強度の最大値と最小値との差分に基づいて決定された段差幅に基づく補正値を用いて入力画像を補正することにより、投影用画像を生成する。
また、段差処理部442は、図5のステップS105において、環境光段差の変化を水平方向に線形に延ばすことにより、段差が目立たないようにしていたが、段差処理部442は、環境光段差が曲線状に変化するように補正してもよい。
図7は、曲線状に環境光段差を補正する方法について説明するための図である。図7においては、図6と同様に、横軸が光変調素子470の水平画素位置を示しており、縦軸は環境光強度を示している。
図7(b)は、段差処理部442が図7(a)に示す環境光強度に対して膨張処理を施すことにより、膨張光強度を算出した結果を示している。膨張処理とは、補正後の環境光強度分布を想定して、必要に応じて輝度段差の重心と幅を変える処理のことである。
以上の説明において、補正値生成部444は、補正値強度分布と入力画像とに基づいて、入力画像を補正するための補正値を算出した。補正値生成部444は、入力画像の画素ごとの輝度Yinputを用いる代わりに、面内輝度平均値等の入力画像の画素値の統計量に基づいて補正値を算出してもよい。具体的には、補正値生成部444は、入力画像の画面内輝度平均値を算出し、式(2)のYinputの代わりに使用する。補正値生成部444は、このように統計量を用いて補正値を算出することにより、例えば、事前に入ってくる動画全体の輝度平均値を算出し、これに基づいて補正値を生成することによって、入力画像に補正値として加算する輝度オフセット値をフレームごとに算出する処理を削減することができる。
以上の説明においては、補正部445が、入力画像に補正値をそのまま加算する例について説明した。しかし、補正部445が、補正値を入力画像にそのまま加算してしまうと明部階調側の輝度が上限に張り付いてしまい、階調性が低下する場合がある。そこで、補正部445は、入力画像の画素の輝度値が高くなればなるほど、補正値を小さくしてもよい。補正部445は、例えば、暗部側にのみ補正値を適用し、入力画像の明部側では補正データが0になるように補正する。
以上の説明において、画像処理部440は、投影面上の環境光強度の輝度変化がなだらかになるように補正をしていた。しかし、環境光の中には電球のように色温度が低いものも存在する。そこで、画像処理部440は、輝度の変化のみならず、環境光の色度の変化もなだらかになるように補正してもよい。この場合、画像処理部440は、図6に示した輝度に基づく環境光強度の代わりに、例えば撮像部491が取得したRGB値のそれぞれの強度を用いる。
以上の方法によって、環境光による輝度の変化のみならず、色の変化も補正することができる。
以上の説明においては、補正値強度分布算出部443が補正値強度分布を算出するタイミングを考慮していなかったが、補正部445は、段差処理部442が投影面上の環境光の分布に段差領域が存在することを特定したことに応じて、入力画像を補正してもよい。この場合、補正値強度分布算出部443は、段差処理部442が投影面上の環境光の分布に変化があったことを条件として、撮像画像に基づいて補正値強度分布を算出する。
以上の説明においては、撮像画像にランダムノイズが重畳されることが考慮されていなかったが、撮像画像にランダムノイズが重畳された場合、プロジェクタ100は、ノイズを環境光のエッジとして検出してしまい、誤補正をしてしまうことが想定される。そこで、段差処理部442は、環境光段差補正における誤補正を抑制するために、撮像画像において、ランダムノイズと環境光段差とを見分ける処理を実行してもよい。段差処理部442は、ランダムノイズと環境光段差とを見分けるために、段差領域のエッジ(環境光強度の変化の大きい箇所)の連続性を用いることができる。
段差処理部442は、図5のステップS104において環境光段差を検出する際に、環境光強度の変化量を用いた。段差処理部442は、環境光強度分布の水平方向及び垂直方向における環境光強度の変化量を検出し、変化量が閾値を超えた箇所をエッジと判断する。この際、段差処理部442は、連続した画素において変化量が閾値を超えた箇所を環境光段差により生じたエッジと判断することで、ランダムノイズと環境光段差とを見分ける。
以上の説明においては、プロジェクタ100が投影用画像を投影している状態で、撮像部491が投影面を撮像する例について説明したが、撮像画像を取得するタイミングは、これに限らない。撮像部491が、プロジェクタ100が投影用画像を投影していない状態の投影面を撮像し、強度分布特定部441が、プロジェクタ100が投影用画像を投影していない状態の投影面の撮像画像に基づいて環境光強度分布を特定してもよい。
以上の説明においては、プロジェクタ100において段差を補正する処理について説明したが、本発明は、その他の電子機器においても適用することができる。
例えば、直視型の表示装置においても、同様の手法で輝度段差補正をすることができる。この場合、撮像部491は直視型表示装置の表示領域を撮像するように設置される。
以上説明したように、本実施形態によれば、環境光の影響で生じた輝度や色の段差をぼかすことにより、段差が目立たないようにすることができる。その結果、図2(b)に示すように、段差が目立たないように画像を表示することが可能になる。
例えば、上記の説明においては、プロジェクタ100が内蔵する撮像部491において生成された撮像画像に基づいて画像を補正する例を示したが、撮像画像は他の撮像デバイスで生成されたものを用いてもよい。
442 段差処理部
445 補正部
481 表示光学系
491 撮像部
Claims (19)
- 入力画像に基づいて生成された投影用画像が投影される投影面の撮像画像を取得する画像取得手段と、
前記撮像画像に基づいて、前記投影面における環境光による輝度の変化率が所定の閾値よりも大きい領域である段差領域を特定し、特定した前記段差領域における輝度の変化率が小さくなるように前記入力画像を補正することにより前記投影用画像を生成する補正画像生成手段と、
前記補正画像生成手段が生成した前記投影用画像を前記投影面に投影する投影手段と、
を有することを特徴とする投影装置。 - 前記補正画像生成手段は、前記環境光の強度の最大値と最小値との差分の大きさに基づいて前記入力画像を補正することを特徴とする、
請求項1に記載の投影装置。 - 前記補正画像生成手段は、前記差分が大きければ大きいほど、前記段差領域における輝度の変化量が小さくなるように、前記入力画像を補正することを特徴とする、
請求項2に記載の投影装置。 - 前記補正画像生成手段は、前記段差領域の幅に対する輝度の変化量の割合が閾値以下になるように前記入力画像を補正することを特徴とする、
請求項1から3のいずれか一項に記載の投影装置。 - 前記補正画像生成手段は、前記段差領域に含まれる画素に対応する補正値を前記入力画像における対応する画素の画素値に加算することにより、前記入力画像を補正することを特徴とする、
請求項1から4のいずれか一項に記載の投影装置。 - 前記補正画像生成手段は、前記入力画像の画素値の統計量に基づいて前記補正値を決定することを特徴とする、
請求項5に記載の投影装置。 - 前記補正画像生成手段は、前記入力画像の画素の輝度値が高くなればなるほど、前記補正値を小さくすることを特徴とする、
請求項5又は6に記載の投影装置。 - 前記補正画像生成手段は、前記特定手段が前記段差領域を特定したことに応じて前記補正値を決定することを特徴とする、
請求項5から7のいずれか一項に記載の投影装置。 - 前記補正画像生成手段は、所定の時間ごとに生成された前記撮像画像に基づいて前記補正値を決定することを特徴とする、
請求項5から8のいずれか一項に記載の投影装置。 - 前記投影装置の動きを検出する動き検出手段をさらに有し、
前記補正画像生成手段は、前記投影装置が動いたことを前記動き検出手段が検出したことに応じて前記補正値を決定することを特徴とする、
請求項5から9のいずれか一項に記載の投影装置。 - 前記特定手段は、前記撮像画像における色度の変化量にさらに基づいて前記段差領域を特定し、
前記補正画像生成手段は、前記段差領域における前記色度の変化量が小さくなるように前記入力画像を補正することを特徴とする、
請求項1から10のいずれか一項に記載の投影装置。 - 前記特定手段は、隣接する画素に対する環境光の強度の変化量が所定の閾値よりも大きい画素が所定の数以上連続していることを条件に前記段差領域を特定することを特徴とする、
請求項1から11のいずれか一項に記載の投影装置。 - 前記特定手段は、前記撮像画像に基づいて特定される前記環境光の強度分布における高周波成分を除去した後の強度分布に基づいて、前記段差領域を特定することを特徴とする、
請求項1から11のいずれか一項に記載の投影装置。 - 前記特定手段は、前記撮像画像における前記環境光の強度が所定の閾値以下である暗階調領域を特定し、
前記補正画像生成手段は、前記暗階調領域の面積が所定の値以上であることを条件として前記入力画像を補正することを特徴とする、
請求項1から13のいずれか一項に記載の投影装置。 - 前記補正画像生成手段は、前記段差領域から所定の範囲の前記入力画像を補正することにより前記投影用画像を生成することを特徴とする、
請求項1から14のいずれか一項に記載の投影装置。 - 前記補正画像生成手段は、前記段差領域から離れるにつれて補正の強度が弱くなるように前記入力画像を補正することにより前記投影用画像を生成することを特徴とする、
請求項1から15のいずれか一項に記載の投影装置。 - 入力画像に基づいて生成された投影用画像が投影される投影面の撮像画像を取得する画像取得手段と、
前記撮像画像に基づいて、前記投影面における環境光による輝度の変化率が所定の閾値よりも大きい領域である段差領域を特定し、特定した前記段差領域における輝度の変化率が小さくなるように前記入力画像を補正することにより前記投影用画像を生成する補正画像生成手段と、
前記補正画像生成手段が生成した前記投影用画像を出力する出力手段と、
を有することを特徴とする電子機器。 - コンピュータが実行する、
入力画像に基づいて生成された投影用画像が投影される投影面の撮像画像を取得するステップと、
前記撮像画像に基づいて、前記投影面における環境光による輝度の変化率が所定の閾値よりも大きい領域である段差領域を特定するステップと、
前記段差領域における輝度の変化率が小さくなるように前記入力画像を補正することにより前記投影用画像を生成するステップと、
生成した前記投影用画像を出力するステップと、
を有することを特徴とする画像処理方法。 - コンピュータに、
入力画像に基づいて生成された投影用画像が投影される投影面の撮像画像を取得するステップと、
前記撮像画像に基づいて、前記投影面における環境光による輝度の変化率が所定の閾値よりも大きい領域である段差領域を特定するステップと、
前記段差領域における輝度の変化率が小さくなるように前記入力画像を補正することにより前記投影用画像を生成するステップと、
生成した前記投影用画像を出力するステップと、
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016096840A JP6727917B2 (ja) | 2016-05-13 | 2016-05-13 | 投影装置、電子機器及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016096840A JP6727917B2 (ja) | 2016-05-13 | 2016-05-13 | 投影装置、電子機器及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017204808A true JP2017204808A (ja) | 2017-11-16 |
JP6727917B2 JP6727917B2 (ja) | 2020-07-22 |
Family
ID=60321630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016096840A Expired - Fee Related JP6727917B2 (ja) | 2016-05-13 | 2016-05-13 | 投影装置、電子機器及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6727917B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115706790A (zh) * | 2021-08-03 | 2023-02-17 | 精工爱普生株式会社 | 显示***及其显示方法、和显示装置及其显示方法 |
-
2016
- 2016-05-13 JP JP2016096840A patent/JP6727917B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115706790A (zh) * | 2021-08-03 | 2023-02-17 | 精工爱普生株式会社 | 显示***及其显示方法、和显示装置及其显示方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6727917B2 (ja) | 2020-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8807762B2 (en) | Projector | |
JP6445844B2 (ja) | 撮像装置および撮像装置で実行される方法 | |
US8382289B2 (en) | Projector apparatus and projection image correcting program product | |
JP2009171008A (ja) | 色再現装置および色再現プログラム | |
JP2006033656A (ja) | ユーザインタフェース提供装置 | |
JP5061027B2 (ja) | 信号処理装置及び投写型映像表示装置 | |
JP2009130845A (ja) | フリッカ補正装置、フリッカ補正方法並びに撮像装置 | |
JP6228469B2 (ja) | 画像処理装置、画像処理方法、および画像投影装置 | |
JPWO2008156050A1 (ja) | 画像処理方法、画像処理プログラム、画像処理装置、画像処理システム、電子カメラおよび電子機器 | |
JP2017138647A (ja) | 画像処理装置、画像処理方法、映像撮影装置、映像記録再生装置、プログラム及び記録媒体 | |
US8290261B2 (en) | Image processing apparatus and image processing method | |
US9672650B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6304971B2 (ja) | 投影装置及びその制御方法 | |
JP2023002656A (ja) | 画像処理装置、投影システム、画像処理方法、及び画像処理プログラム | |
JP2019220887A (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20180278905A1 (en) | Projection apparatus that reduces misalignment between printed image and projected image projected on the printed image, control method therefor, and storage medium | |
US10205922B2 (en) | Display control apparatus, method of controlling the same, and non-transitory computer-readable storage medium | |
JP6727917B2 (ja) | 投影装置、電子機器及び画像処理方法 | |
JP5585117B2 (ja) | マルチディスプレイシステム、マルチディスプレイ調整方法およびプログラム | |
JP2009171010A (ja) | プロジェクタ | |
JP6790708B2 (ja) | 画像投影装置 | |
JP4746892B2 (ja) | 画像表示装置のフレア補正回路、および画像表示装置のフレア補正方法 | |
JP2017083646A (ja) | 投影装置、及び投影方法 | |
US20180376031A1 (en) | Projection apparatus that improves dynamic range of luminance of printed material, control method therefor, and storage medium | |
WO2020235400A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20180227 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190412 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200701 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6727917 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |