JP4764177B2 - 投影型表示装置、書き込み画像抽出方法及びそのプログラム並びにこれが記録されたコンピュータが読み取り可能な情報記録媒体 - Google Patents
投影型表示装置、書き込み画像抽出方法及びそのプログラム並びにこれが記録されたコンピュータが読み取り可能な情報記録媒体 Download PDFInfo
- Publication number
- JP4764177B2 JP4764177B2 JP2006008941A JP2006008941A JP4764177B2 JP 4764177 B2 JP4764177 B2 JP 4764177B2 JP 2006008941 A JP2006008941 A JP 2006008941A JP 2006008941 A JP2006008941 A JP 2006008941A JP 4764177 B2 JP4764177 B2 JP 4764177B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- pixel
- image
- value
- blue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Projection Apparatus (AREA)
- Image Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Facsimiles In General (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Description
これは、マーカーペンで書かれた文字自体に濃度のばらつきがあることに加え、書き込み面から撮影面に透過する際に書き込み情報が拡散されるためである。
図1(a)、(b)に示す投影型表示装置は、所定の投影画像を形成するスクリーン(投影面)1と、投影画像と重複可能に書き込み画像を形成可能な書き込み面と、書き込み面上に形成された書き込み画像を撮像する撮像装置とを有する装置である。
撮像装置2はその画角内に投影装置3が画像を投影するスクリーン1全体を撮影できるように設置されている。図3に示すように、撮像装置2と投影装置3とは制御装置4に接続されている。本実施形態にかかる投影型表示装置は、撮像装置2としてCCDカメラ、投影装置3としてプロジェクタ、制御装置4としてコンピュータを用い、コンピュータに制御プログラムを実行させることで実現可能であるが、制御プログラムを搭載したハードウェアで制御装置4として適用可能である。
以下、撮像装置2としてCCDカメラ、投影装置3としてプロジェクタ、制御装置4としてコンピュータを適用するものとし、符号もCCDカメラ2、プロジェクタ3、コンピュータ4とする。
〈投影光黒表示処理:ステップS101〉
ユーザによって画像取り込みのコマンド入力がなされると、コンピュータ4はプロジェクタ3から黒一色の画像を投影させる。これは、この後CCDカメラ2が撮影する画像に不必要な情報が写り込むのを避けるためにプロジェクタ3を遮光状態にするための動作である。なお、プロジェクタ3にミュート機能が備わっていればそれを利用することも可能である。
プロジェクタ3が遮光状態となったらCCDカメラ2によってスクリーン1を撮影する。図5に、書き込みがなされたスクリーン1を撮影した画像の一例を示す。
図6に、ユーザがスクリーン1付近に手をかざしてしまったことにより影が写り込んでしまった画像の一例を示す。背景除去処理ではこのような影などのノイズを除去し、ペンなどによる書き込み部分のみを抽出する処理を行う。
ペンによって書かれた部分は面に接しており、輪郭が明確でその内部の濃度は高濃度(グレースケールに変換した場合に低階調)であり、背景部や影の部分は低濃度であることから、書き込み部分とそれ以外の部分とは二値化処理によって切り分けられる。
本発明においては、撮影時の障害物や人の挙動などによって影やノイズの生じ方も変化するため、可変閾値の処理を用いることが好ましい。これは画像中の画素を走査していき、そのとき注目する画素ごとに閾値を変化させる方法である。本実施形態では、注目する画素の周囲N×N画素分の局所領域の平均濃度値を閾値とする。
注目画素を含む3×3の領域内の9個の画素の緑色の成分g値の平均値g_aveを計算し、この値よりも注目画素のg値が低ければ抽出対象(すなわち書き込み部分)であると判断し、g値が高ければ背景、影又はノイズであると判断する。背景、影又はノイズと判断した場合には注目画素を白(すなわちRGB(255,255,255))として置き換える。
この処理によって図8に示すように背景部を除去して書き込み部分のみを抽出できる。
CCDカメラ2による撮影の際にはスクリーン1前面から入射する外光を用いているため、設置場所によっては周囲の外光の条件によっては光量ムラが起こりうる。図9に、書き込みのされていないスクリーン1を撮影した画像の一例を示す。この画像は左側の輝度が高くなっており画像中に濃度勾配が発生している。
書き込み部分を抽出する際に設定している閾値がこの光量ムラによって画像中の位置によって変わってしまうことを避けるため、無地画像を用いて書き込み画像をシェーディング補正する。書き込み部分の画素値の無地画像の画素値に対する濃度値の割合を求め、これを0〜255の幅に換算した値で画素値を置き換えることで濃度勾配を補正できる。
無地画像中のあるライン上(y=j)の輝度勾配が図10に示す状態にあるものとする。この環境下で書き込みを行うと、図11に示すように、同じ色のペンを用いて書き込んだとしても、輝度勾配の影響で書き込み部分の輝度値は一定とならず、場所によって輝度値に差が生じる。
このように、同じ色で書き込みをしても撮影した画像にはRGB値に大小が生じるため、無地画像の輝度勾配を基に書き込み撮影画像の輝度勾配を修正する。
R=(Rc/Rn)×255
G=(Gc/Gn)×255
B=(Bc/Bn)×255
と表される。
このようにして輝度勾配を補正すれば、図12に示すように同色内での輝度差が解消され、図13に示すような鮮明な色合いの書き込み撮影画像が得られ、より良質な書き込み抽出画像が得られる。
図14に、色変換処理での動作の流れを示す。色変換処理は、平均化フィルタ処理(ステップS201)、色判別処理(ステップS202)、補正処理(ステップS203)の三つの処理に分けられる。
まず、シェーディング後の画像pImageを取得する(ステップS301)。次に、平均化フィルタ後の画像filtimgの領域を確保する(ステップS302)。そして、filtimgにpImageをコピーする(ステップS303)。シェーディング後の画像pImageが白の場合(ステップS304/Yes)、何もしないでラスタ順に次の画素位置へ移動する。
シェーディング後の画像pImageが白でない場合(ステップS304/No)、注目画素を中心としたN×N画素の領域の中で白でない画素の平均値を注目が素の値に置き換える(ステップS305〜S309)。具体的には、totalcountの値を0に初期化する(ステップS305)。そして、pImageが白でなければ(ステップS306/No)、totalcountをインクリメントするとともに、その位置でのpImageの値をfiltimgに加算する(ステップ307)。その後、カレント位置におけるフィルタ範囲が終了していなければ(ステップS308/No)、pImageをフィルタ範囲内の次の位置へ移動してからステップS306へ戻り、フィルタ範囲が終了するまで上記の処理を繰り返す。
次に、注目画素における補正範囲内でのマーカー色における黒画素の割合rateを算出する(ステップS511)。算出式は、rate=count/totalcountである。rateが任意の閾値thrよりも大きければ(ステップS512/Yes)、カレント位置のpImageを黒に補正する(ステップS514)。rateがthr以下であれば(ステップS512/No)、カレント位置のpImageをtmpimgに補正する(ステップS513)。なお、thrは任意の閾値であるが、この値を実験的に変化させたところ、0.15≦thr≦0.25、より好ましくはthr=0.2である場合に補正結果が最も良好であった。次に、tmpimgをカレント位置に戻して注目画素における補正を終了する(ステップS515)。そして、最終画素位置での処理が完了していなければ(ステップ516/No)ラスタ順に次の画素位置へ移動し(ステップS517)、最終画素位置での処理が完了したら(ステップS516/Yes)終了する。
補正によって得られた画像はカメラからの画像サイズになっているため、書き込みのある部分だけの最小領域を切り出す。例えば、前段階までの処理において書き込み部以外は白に変換しているため、画像の左上を始点として下方向への走査を左から右に繰り返し、最初に白以外の画素と当たったところをx1、最後に白以外の画素と当たったところをx2とする。同様に、画像の左上を始点として右方向へ走査を上から下へ繰り返し、最初に白以外の画素と当たったところをy1、最後に白以外の画素と当たったところをy2とする。図18に示すように、この(x1,y1)、(x2,y2)をそれぞれ左上、右下の頂点座標とする矩形領域を切り出すことで書き込みがなされた領域に対応する画像が得られるため、後に合成処理などを行う際の操作性が向上する。
また、誤判定を取り除くために、判定式で判定不可能な画素においては平均化前の画素をそのまま用いることにより、誤判別せずに違和感のない色変換後の画像が得られる。
例えば、上記実施形態で示したフローチャートはあくまでも動作の一例であり、本発明はこれに限定されることはない。例えば、分岐条件で示した数値などは上記実施形態と異なる値であっても良い。
このように、本発明は様々な変形が可能である。
2 撮影装置(CCDカメラ)
3 投影装置(プロジェクタ)
4 制御装置(コンピュータ)
41 撮影部
42 抽出部
43 合成部
44 投影部
Claims (10)
- 投影画像が形成される投影面と、前記投影画像と重複して書き込み画像が形成されうる書き込み面と、前記書き込み面上に形成された前記書き込み画像を撮影する撮像手段と、前記撮像手段で撮影した画像から前記書き込み画像に対応する部分の情報を抽出する抽出手段と、抽出した前記書き込み画像の色を代表色に置き換える色変換手段とを有する投影型表示装置であって、
前記色変換手段は、
書き込まれた画像の注目画素の画素値を、該注目画素を中心とする周囲N×N(ただし、Nは3以上の奇数)画素分の正方形の領域内の書き込み画素の画素値の平均値で置き換えることで平均化する平均化手段と、
前記平均化手段によって平均化された後のRGB各色の色成分の内の輝度値の、最大値と最小値を算出する算出手段と、
前記算出した最大値と最小値との差を算出する差算出手段と、
前記最大値の色が青であって、前記差算出手段によって算出された差が所定値以下である場合に前記注目画素の色を黒色と判断して黒色に変換し、
該黒色と判断されなかった場合に、前記最大値の色が青で、かつ前記最小値の色が赤である場合に前記注目画素の色を青色と判断して青色に変換し、
該青色と判断されなかった場合に、前記最大値の色が赤である場合に前記注目画素の色を赤色と判断して赤色に変換し、
前記黒色でも前記青色でも前記赤色でもないと判断された場合に、前記平均化前の画素の色をそのまま用いる色判別手段と、
前記書き込み画像の色をいずれの代表色に変換するかを黒、青、赤の順で判断する手段と、
前記注目画素における前記平均化後のRGB各色の色成分の内の最大値と最小値との差を算出し、その差が所定値以下である場合に前記注目画素の色を黒色に変換する手段と、
前記注目画素における前記平均化後のRGB各色の色成分の輝度値のうち、青色の輝度値が最大である場合に、前記注目画素の色を青色に変換する手段と、
前記注目画素における前記平均化後のRGB各色の色成分の輝度値のうち、赤色の輝度値が最大である場合に、前記注目画素の色を赤色に変換する手段と、
前記注目画素における前記平均化後の画素が白色でなく、前記注目画素における前記平均化後のRGB各色の色成分の内の最大値と最小値との差を算出し、その差が所定値以下でなく、前記注目画素における前記平均化後のRGB各色の色成分の輝度値のうち、青色の輝度値が最大でなく、かつ、前記注目画素における前記平均化後のRGB各色の色成分の輝度値のうち、赤色の輝度値が最大でない場合に、前記平均化前の画素をそのまま用いる手段と、
を有することを特徴とする投影型表示装置。 - 前記抽出手段は、前記撮像手段が撮影した画像から背景部分を除去することを特徴とする請求項1記載の投影型表示装置。
- 前記抽出手段は、装置起動時に前記投影面の無地画像を前記撮像手段に撮影させてその画像における輝度分布を記憶し、これを基に前記撮像手段で撮影された前記書き込み画像の輝度分布をシェーディング補正することを特徴とする請求項1又は2記載の投影型表示装置。
- 前記代表色は、黒、青及び赤であることを特徴とする請求項1から3のいずれか1項記載の投影型表示装置。
- 投影画像が形成される投影面と、前記投影画像と重複して書き込み画像が形成されうる書き込み面とを有する投影型表示装置における書き込み画像抽出方法であって、撮像手段により、前記書き込み面上に形成された前記書き込み画像を撮影する撮像工程と、抽出手段により、前記撮像手段で撮影した画像から前記書き込み画像に対応する部分の情報を抽出する抽出工程と、色変換手段により、前記抽出した前記書き込み画像の色を代表色に置き換える色変換工程とを有し、
前記色変換工程は、
書き込まれた画像の注目画素の画素値を、該注目画素を中心とする周囲N×N(ただし、Nは3以上の奇数)画素分の正方形の領域内の書き込み画素の画素値の平均値で置き換えることで平均化する平均化工程と、
前記平均化工程によって平均化された後のRGB各色の色成分の内の輝度値の、最大値と最小値を算出する算出工程と、
前記算出した最大値と最小値との差を算出する差算出工程と、
前記最大値の色が青であって、前記差算出手段によって算出された差が所定値以下である場合に前記注目画素の色を黒色と判断して黒色に変換し、
該黒色と判断されなかった場合に、前記最大値の色が青で、かつ前記最小値の色が赤である場合に前記注目画素の色を青色と判断して青色に変換し、
該青色と判断されなかった場合に、前記最大値の色が赤である場合に前記注目画素の色を赤色と判断して赤色に変換し、
前記黒色でも前記青色でも前記赤色でもないと判断された場合に、前記平均化前の画素の色をそのまま用いる色判別工程と、
前記書き込み画像の色をいずれの代表色に変換するかを黒、青、赤の順で判断する工程と、
前記注目画素における前記平均化後のRGB各色の色成分の内の最大値と最小値との差を算出し、その差が所定値以下である場合に前記注目画素の色を黒色に変換する工程と、
前記注目画素における前記平均化後のRGB各色の色成分の輝度値のうち、青色の輝度値が最大である場合に、前記注目画素の色を青色に変換する工程と、
前記注目画素における前記平均化後のRGB各色の色成分の輝度値のうち、赤色の輝度値が最大である場合に、前記注目画素の色を赤色に変換する工程と、
前記注目画素における前記平均化後の画素が白色でなく、前記注目画素における前記平均化後のRGB各色の色成分の内の最大値と最小値との差を算出し、その差が所定値以下でなく、前記注目画素における前記平均化後のRGB各色の色成分の輝度値のうち、青色の輝度値が最大でなく、かつ、前記注目画素における前記平均化後のRGB各色の色成分の輝度値のうち、赤色の輝度値が最大でない場合に、前記平均化前の画素をそのまま用いる工程と、
を有することを特徴とする書き込み画像抽出方法。 - 前記抽出工程では、前記撮像工程において撮影した画像から背景部分を除去することを特徴とする請求項5記載の書き込み画像抽出方法。
- 前記抽出工程では、予め記録されている前記投影面の無地画像における輝度分布を基に、前記撮像工程で撮影された前記書き込み画像の輝度分布をシェーディング補正することを特徴とする請求5又は6記載の書き込み画像抽出方法。
- 前記代表色は、黒、青及び赤であることを特徴とする請求項5から7のいずれか1項記載の書き込み画像抽出方法。
- 請求項5から8のいずれか1項記載の書き込み画像抽出方法を投影型表示装置のコンピュータに実行させる画像抽出方法のプログラム。
- 請求項9記載の画像抽出方法のプログラムが記録されたコンピュータが読み取り可能な情報記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006008941A JP4764177B2 (ja) | 2006-01-17 | 2006-01-17 | 投影型表示装置、書き込み画像抽出方法及びそのプログラム並びにこれが記録されたコンピュータが読み取り可能な情報記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006008941A JP4764177B2 (ja) | 2006-01-17 | 2006-01-17 | 投影型表示装置、書き込み画像抽出方法及びそのプログラム並びにこれが記録されたコンピュータが読み取り可能な情報記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007194724A JP2007194724A (ja) | 2007-08-02 |
JP4764177B2 true JP4764177B2 (ja) | 2011-08-31 |
Family
ID=38450100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006008941A Expired - Fee Related JP4764177B2 (ja) | 2006-01-17 | 2006-01-17 | 投影型表示装置、書き込み画像抽出方法及びそのプログラム並びにこれが記録されたコンピュータが読み取り可能な情報記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4764177B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5170043B2 (ja) | 2009-09-15 | 2013-03-27 | コニカミノルタビジネステクノロジーズ株式会社 | 画像投影システム、画像投影方法および画像投影プログラム |
JP2016014712A (ja) * | 2014-07-01 | 2016-01-28 | キヤノン株式会社 | シェーディング補正値算出装置およびシェーディング補正値算出方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07234661A (ja) * | 1994-02-22 | 1995-09-05 | Fujitsu Ltd | カラー画像の表示方法及び装置 |
JP2000076444A (ja) * | 1998-09-02 | 2000-03-14 | Hitachi Ltd | 画像処理装置 |
JP2004214908A (ja) * | 2002-12-27 | 2004-07-29 | Sharp Corp | 画像処理装置、及びそれを備えた画像形成装置 |
JP2005071192A (ja) * | 2003-08-27 | 2005-03-17 | Ricoh Co Ltd | 投影型表示装置、プログラムおよび記録媒体 |
-
2006
- 2006-01-17 JP JP2006008941A patent/JP4764177B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007194724A (ja) | 2007-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5142491B2 (ja) | 画像表示装置、画像表示方法及び画像表示プログラム | |
CN108668093B (zh) | Hdr图像的生成方法及装置 | |
JP5907580B2 (ja) | 投写型表示装置および記録画像生成方法 | |
CN106604005B (zh) | 一种投影电视自动对焦方法及*** | |
US9787906B2 (en) | Image pickup device, image processing method, and recording medium | |
JP4386959B1 (ja) | 画像処理装置 | |
JP4848521B2 (ja) | プロジェクタ投影映像のマウス代替操作方法およびそのマウス代替操作システム | |
JP6541501B2 (ja) | 画像処理装置、撮像装置、及び画像処理方法 | |
JP2007104249A (ja) | 画像補正装置、画像補正方法、プログラム、及び記録媒体 | |
JP4764177B2 (ja) | 投影型表示装置、書き込み画像抽出方法及びそのプログラム並びにこれが記録されたコンピュータが読み取り可能な情報記録媒体 | |
JP2008076445A (ja) | 投影型表示装置、投影型表示方法、該方法を実行させるプログラム及び該プログラムを格納したコンピュータ読み取り可能な記録媒体 | |
JP2009171010A (ja) | プロジェクタ | |
JP5202190B2 (ja) | 画像処理方法及び画像処理装置 | |
JP7030425B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
JP5398562B2 (ja) | 追尾枠の初期位置設定装置およびその動作制御方法 | |
JP2005071192A (ja) | 投影型表示装置、プログラムおよび記録媒体 | |
CN106063247A (zh) | 图像处理装置、图像处理方法和图像处理程序 | |
JP2011160062A5 (ja) | ||
JP2008252227A (ja) | 画像処理装置、撮像装置、および画像処理プログラム | |
JP5493839B2 (ja) | 撮像装置、画像合成方法及びプログラム | |
JP4043499B2 (ja) | 画像補正装置及び画像補正方法 | |
JP7418083B2 (ja) | 表示制御装置およびその制御方法およびそのプログラム | |
JP5448799B2 (ja) | 表示制御装置及び表示制御方法 | |
JP7391502B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2005274887A (ja) | 画像表示システム及び画像表示プログラム並びに画像表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101001 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101026 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110607 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110610 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |