JP2018197799A - 画像処理装置、方法およびプログラム - Google Patents
画像処理装置、方法およびプログラム Download PDFInfo
- Publication number
- JP2018197799A JP2018197799A JP2017102306A JP2017102306A JP2018197799A JP 2018197799 A JP2018197799 A JP 2018197799A JP 2017102306 A JP2017102306 A JP 2017102306A JP 2017102306 A JP2017102306 A JP 2017102306A JP 2018197799 A JP2018197799 A JP 2018197799A
- Authority
- JP
- Japan
- Prior art keywords
- subframe
- image
- frame
- image processing
- frame memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
【課題】 フレーム遅延を軽減した高画質化処理を行う画像処理装置、方法およびプログラムを提供すること。【解決手段】 入力された画像を補正した画像を表示する装置であって、入力画像の解像度を変換したサブフレームを生成し、さらに当該サブフレームを画素ずらししたサブフレームを生成するサブフレーム生成部420と、サブフレームの特徴量を抽出するともに、当該サブフレームをフレームメモリ450に記憶する特徴抽出部431と、サブフレームをフレームメモリ450から読み出して特徴量に基づいて補正する画像補正部432と、補正されたサブフレームを投影装置に出力する画像出力部460とを含む。【選択図】 図4
Description
本発明は、画像処理装置、方法およびプログラムに関する。
近年、プロジェクタやディスプレイモニタなどの画像表示装置は、高画質化に伴い、4Kや8Kなどの高い解像度を持つ装置が開発されている。しかしながら、解像度を高くすると、製造コストも高くなるという問題がある。
特開2003−302952号公報(特許文献1)では、プロジェクタにおいて高解像度を安価で実現する方法として、「画素ずらし」という方法が提案されている。図11は、画素ずらしによって解像度を向上する方法について説明する図である。図11(a)では、画素数が16画素(縦方向が4画素、横方向が4画素)の画面を表示するプロジェクタの例を示しており、図11(b)では、画素ずらしによって見かけ上の画素数を2倍にしている例を示す。
例示したプロジェクタは、表示する光の角度を調節することによって、図11(b)のように各画素を45°の方向に半画素分ずらしたサブフレームを挿入する。このように、元の画素と、ずらした画素とを交互に表示することで、見かけ上の画素数を2倍にすることができる。
また、特許文献1では、画素ずらし処理に加えて、入力された画像データの画質を向上させる処理を行うことを開示している。図12は、従来技術における画像処理装置1200のソフトウェアブロック図である。
画像入力部1201に入力された画像のフレームデータは、画像処理部1202において、ヒストグラムの生成などの特徴抽出処理が施され、当該特徴を利用して明度補正などの高画質化処理が行われる。画像の補正はフレーム全体特徴に基づいて行われることから、各フレームデータはフレームメモリ制御部1210aを介してフレームメモリ1220aに記憶される。
補正された画像のフレームデータは、サブフレーム生成部1203において、画素ずらし処理が施されたサブフレームのデータとして生成され、フレームメモリ制御部1210bを介してフレームメモリ1220bに記憶される。そして、画像出力部1204は、フレームメモリ1220bに記憶された各フレームデータを読み出して出力することで画像を投影する。
上記の各処理は、各フレームの処理を並行してパイプライン動作として行うことができる。図13は、従来技術における画像処理装置1200の各機能ブロックの動作タイミングを示す図である。図13では、入力画像の解像度が4K、フレームレートが60Hz、出力画像の解像度が2K、フレームレートが120Hzの場合を例に説明する。
図13に示すように、画像入力部1201には、フレームFn,Fn+1,Fn+2が入力されている。一方で、画像出力部1204からは、入力画像の2倍のフレームレートで、フレームFn−2’,Fn−2’’,Fn−1’,Fn−1’’,Fn’,Fn’’が出力される。しかしながら、画像処理部1202、サブフレーム生成部1203、画像出力部1204は、それぞれフレームメモリ1220にアクセスすることから遅延が生じる。したがって、出力される画像のフレームは、フレームメモリの読み出しなどによって、入力画像に対して2フレーム分遅れて出力されることから、画像遅延の原因となる。
また、図12のフレームメモリ制御部とフレームメモリとをそれぞれ1つずつとすることで、遅延を軽減することも可能であるが、データ量が大きくなるため、フレームメモリ制御部とフレームメモリとを接続するバスの帯域幅を増やす必要が生じ、コストの増加につながる。
そこで、画像の高画質化を実現する、さらなる画像表示技術が求められていた。
本発明は、上記従来技術における課題に鑑みてなされたものであり、フレーム遅延を軽減した高画質化処理を行う画像処理装置、方法およびプログラムを提供することを目的とする。
すなわち、本発明によれば、入力された画像を補正した画像を表示する装置であって、
入力画像の解像度を変換した第1のサブフレームを生成し、さらに当該第1のサブフレームを画素ずらしした第2のサブフレームを生成する、生成手段と、
前記第1のサブフレームおよび前記第2のサブフレームの特徴量を抽出するともに、当該第1のサブフレームおよび当該第2のサブフレームをフレームメモリに記憶する、特徴抽出手段と、
前記第1のサブフレームおよび前記第2のサブフレームを前記フレームメモリから読み出して、前記特徴量に基づいて補正する、画像補正手段と、
前記補正された前記第1のサブフレームおよび前記第2のサブフレームを投影装置に出力する、画像出力手段と
を含む、画像処理装置が提供される。
入力画像の解像度を変換した第1のサブフレームを生成し、さらに当該第1のサブフレームを画素ずらしした第2のサブフレームを生成する、生成手段と、
前記第1のサブフレームおよび前記第2のサブフレームの特徴量を抽出するともに、当該第1のサブフレームおよび当該第2のサブフレームをフレームメモリに記憶する、特徴抽出手段と、
前記第1のサブフレームおよび前記第2のサブフレームを前記フレームメモリから読み出して、前記特徴量に基づいて補正する、画像補正手段と、
前記補正された前記第1のサブフレームおよび前記第2のサブフレームを投影装置に出力する、画像出力手段と
を含む、画像処理装置が提供される。
上述したように、本発明によれば、フレーム遅延を軽減した高画質化処理を行う画像処理装置、方法およびプログラムが提供される。
以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜その説明を省略するものとする。また、以下では画像処理装置100の例としてプロジェクタで以て説明するが、これに限定するものではない。
図1は、本発明の各実施形態における画像処理装置100のハードウェアの概略構成を示す図である。画像処理装置100は、CPU101、RAM102、ROM103、記憶装置104、画像入力I/F105、画像出力装置106を含み、各ハードウェアはバスラインによって電気的に接続されている。
CPU101は、画像処理装置100の動作を制御するプログラムを実行し、所定の処理を行う装置である。RAM102は、CPU101が実行するプログラムの実行空間を提供するための揮発性の記憶装置であり、プログラムやデータの格納用、展開用として使用される。ROM103は、CPU101が実行するプログラムやファームウェアなどを記憶するための不揮発性の記憶装置である。記憶装置104は、画像処理装置100を機能させるOSや各種アプリケーション、設定情報、各種データなどを記憶する、読み書き可能な不揮発性の記憶装置である。
画像入力I/F105は、パソコンなどの外部の端末と接続し、画像を入力するためのインターフェースであり、例として、HDMI(登録商標)などが挙げられる。画像出力装置106は、入力された画像に各種処理を行い、レーザープロジェクションなどの手段によって画像を出力するための装置である。ここでいう各種処理とは、画素ずらし処理のほかに、例えば、色の調整や台形補正などが挙げられる。
以上、本実施形態の画像処理装置100のハードウェアについて説明した。次に画像出力装置106の構成について説明する。図2は、画像出力装置106における光学ブロックを説明する図である。
入力画像のフレームやサブフレームなどの画像情報は、照明光源201から光として放射される。放射された光は、レンズ202を通してDMD(Digital Mirror Device)素子203に照射される。DMD素子203は、画像情報に基づいて、画素ごとにミラーの反射角度を電子的に制御できる素子である。
DMD素子203によって反射された光は、画素ずらし手段204、投射レンズ205を通過することで、画像がスクリーン206上に投影される。画素ずらし手段204は、フレームの周期に応じて、投影画像の光路を一次元方向または二次元方向にシフトさせる機能を持つため、画素ずれした画像をスクリーン206に投影することができ、解像度を向上させることができる。
次に、サブフレームについて説明する。図3は、画素ずらしによって生成されるサブフレームを説明する図であり、図3(a)は入力画像の各フレームを、図3(b)は生成されたサブフレームの出力画像を、それぞれ例示している。また、以下の説明において、1フレーム目と2フレーム目の間に挿入されるサブフレームを、便宜上「1.5フレーム目」として記載し、他のサブフレームについても同様に表現する。
なお、図3において、入力画像の画素数は、図3(a)のように16画素(縦4画素×横4画素)で、出力画像の画素数は、図3(b)のように4画素(縦2画素×横2画素)で、それぞれ構成されており、出力画像のフレームレートは、入力画像のフレームレートよりも2倍高い場合を例示している。
入力画像が、図3(a)に示すように、1フレーム目から4フレーム目まで、それぞれ1〜4のように変化した場合には、入力画像の各フレームに対して画素ずらし処理したサブフレームを挿入する。
例えば、図3(b)では、出力画像の1フレーム目および1.5フレーム目で、入力画像の1フレーム目を表示しているが、このとき1.5フレーム目の画像では、画素を45°の方向にずらしたサブフレームを挿入している。同様に、各入力画像のフレーム間に、当該入力画像のフレームに対応する、画素ずらし処理をしたサブフレームを挿入することで、見かけ上の解像度を向上させることができる。
なお、画素ずらしの方法は、上記のように斜め方向に45°ずらす方法に限らず、例えば、水平方向の画素ずらしと、垂直方向の画素ずらしと、を組み合わせて、矩形にずらす方法などであってもよい。画素ずらしの方法は、入出力画像の解像度やフレームレートなどに応じて選択できる。
以下では、本発明の実施形態をより具体的な実施例で以て説明する。なお、以下に説明する各実施形態では、入力画像に対して出力画像は、解像度が1/2で、フレームレートが2倍である場合を例に説明する。
まず、第1の実施形態について、図4〜6を以て説明する。図4は、第1の実施形態における画像処理装置100のソフトウェアブロック図である。図4は、図1に示した各ハードウェアによって実行される各種の機能手段である。なお、図中の矢線は、データのフローを示している。
画像処理装置100は、画像入力部410、サブフレーム生成部420、画像処理部430、フレームメモリ制御部440、フレームメモリ450、画像出力部460を含む。以下に、各機能ブロックについての詳細を説明する。
画像入力部410は、画像入力I/F105を制御し、パソコンなどの外部装置からの画像を入力する手段である。入力された画像のデータは、フレームごとにサブフレーム生成部420へ伝送される。
サブフレーム生成部420は、入力画像の各フレームを出力装置の仕様に対応したフレームに変換し、生成する手段である。具体的には、出力装置の解像度に対応したサブフレームを生成し、さらに上述した方法によって画素ずらしをしたサブフレームを生成する。生成されたサブフレームのデータは、画像処理部430に送られる。なお、以下では、N番目に入力された画像フレームFnに対して、出力装置の解像度に対応したサブフレームをFn’とし、さらに画素ずらしによって生成されたサブフレームをFn’’として表記する。
画像処理部430は、サブフレームを含む各フレームに対して、明度補正などの種々の高画質化処理を行う手段であり、特徴抽出部431と画像補正部432とを含む。特徴抽出部431は、補正処理を行うために、ヒストグラムなどといった各種特徴量をフレームごとに抽出する。特徴抽出部431に入力されたフレームデータは、特徴を抽出されるとともに、フレームメモリ制御部440を介して、フレームメモリ450に記憶される。また、抽出された特徴量は、画像補正部432に通知される。
なお、フレームメモリ制御部440は、記憶装置104を制御する手段であり、データの書き込みおよび読み出しを行う。フレームメモリ450は、記憶装置104のうち、画像のフレームデータを記憶する領域である。したがって、フレームメモリ制御部440およびフレームメモリ450によって、画素ずらし処理が施されたサブフレームを含む各フレームデータは、一時的に記憶され、画像補正処理を待機する。
画像補正部432は、各画像の補正を行う手段である。画像補正部432は、フレームメモリ制御部440を介して、フレームメモリ450に記憶されている、各フレームのデータを読み出し、特徴抽出部431から取得した特徴抽出部431が抽出した各画像の特徴に基づいて、フレームごとに画像の補正を行う。補正処理された画像のフレームデータは、画像出力部460に伝送される。
画像出力部460は、画像出力装置106を制御し、画像のフレームデータを順次投影画像として出力する手段である。
ここまで、第1の実施形態における機能ブロックについて説明した。次に、各機能ブロックが実行する処理について説明する。図5は、第1の実施形態において画像処理装置100が実行する処理のフローチャートである。
まず、画像処理装置100は、ステップS1000から処理を開始し、ステップS1001で、画像の入力があるかを判定する。画像の入力がない場合(NO)には、ステップS1001に戻って処理を繰り返すことで、画像の入力を待機する。画像の入力があった場合(YES)には、ステップS1002に進む。
ステップS1002において、画像入力部410は、入力されたフレーム画像を、サブフレーム生成部420に伝送する。サブフレーム生成部420は、ステップS1003で、入力画像フレームFnに基づいて、出力装置の解像度に対応したサブフレームFn’および画素ずらしを行ったサブフレームFn’’を生成する。
次に、ステップS1004で、特徴抽出部431は各フレームの画像の特徴量を抽出する。特徴量抽出の例としては、ヒストグラムの生成などが挙げられるが、これに限定するものではない。その後、ステップS1005で、特徴抽出部431は、特徴を抽出したフレームデータを、フレームメモリ制御部440を介してフレームメモリ450に記憶する。また、特徴抽出部431は、抽出した画像の特徴量を画像補正部432に通知する。なお、特徴抽出部431は、ステップS1004とS1005の処理を同時に行う。
その後、ステップS1006では、画像補正部432は、フレームメモリ制御部440を介してフレームメモリ450からフレームデータを読み込む。また、画像補正部432は、ステップS1006と併せて、特徴抽出部431から特徴量を取得する。そして、ステップS1007で、特徴抽出部431から通知された特徴量に基づいて、読み込んだフレームデータの画像補正処理を行う。
補正処理された画像のフレームデータは、ステップS1008において、画像出力部460から出力され、画像出力装置106によって、スクリーン206に投影される。ステップS1008の後、ステップS1001に戻り、ステップS1001〜1008の処理を繰り返す。
ここで、図5のフローチャートで行う処理を機能ブロックごとに示す。図6は、各機能ブロックが実行する処理の詳細を示すシーケンス図である。まず、ステップS2000で、サブフレーム生成部420にフレームFnの画像が入力されると、ステップS2001で、サブフレームFn’、Fn’’が生成される。その後、生成されたサブフレームFn’、Fn’’は、ステップS2002で、特徴抽出部431に送付される。
特徴抽出部431では、ステップS2003で、各サブフレームの特徴量を抽出する。また、特徴抽出部431は、特徴抽出処理と併せて、ステップS2004で、サブフレームFn’、Fn’’をフレームメモリ450に送付する。フレームメモリ450は、ステップS2005で、送付されたFn’、Fn’’を記憶する。
さらに、特徴抽出部431は、ステップS2006で、抽出した特徴量を画像補正部432に通知する。この処理と併せて、画像補正部432は、ステップS2007で、フレームメモリ450に対してサブフレームFn’の読み出しを依頼する。ステップS2008で、フレームメモリ450は、サブフレームFn’を画像補正部432に通知する。
そして、画像補正部432は、ステップS2009で、特徴量に基づいて、取得したサブフレームFn’を補正する。補正されたサブフレームFn’は、ステップS2010で、画像出力部460を介して、画像出力装置106に出力される。この処理と併せて、画像補正部432は、ステップS2011で、フレームメモリ450に対してサブフレームFn’’の読み出しを依頼する。そして、ステップS2012で、フレームメモリ450は、サブフレームFn’’を画像補正部432に通知する。
その後、画像補正部432は、ステップS2013で、特徴量に基づいて、取得したサブフレームFn’’を補正する。補正されたサブフレームFn’’は、ステップS2014で、画像出力部460を介して、画像出力装置106に出力される。したがって、サブフレームFn’’は、フレームメモリ450に記憶され、1クロック分の時間だけ待機した後、読み出し、補正、出力が行われる。
なお、ステップS2011〜S2014の処理は、ステップS2007〜S2010の処理と同様である。また、入力された画像フレームFnが最終フレームでない場合には、ステップS2014の処理と併せて、次フレームFn+1から生成されたサブフレームFn+1’の読み出し依頼を行う。
なお、特徴抽出部431および画像補正部432と、フレームメモリ450とのデータのやり取りは、フレームメモリ制御部440を介して行われる。
図5,6に示した各処理は、一つのフレームが入力されてから出力するまでの動作フローが完了する前に、次フレームが入力され、当該フレームの動作フローが重なりながら処理される。すなわち、フレームごとにパイプライン動作によって処理される。
上述した処理によって、メモリのバスの帯域幅を増加することなく、かつ入出力遅延を低減して、画像を高解像度化することができる。次に、上述の処理を行う画像処理装置100の動作タイミングについて説明する。図7は、第1の実施形態における画像処理装置100の各機能ブロックの動作タイミングを示す図である。ここでは、入力画像の解像度が4K、フレームレートが60Hzとし、出力画像の解像度が2K、フレームレートが120Hzとした場合を例に説明する。
図7(a)は、画像が入力されるタイミングを示すクロックであり、垂直同期(V−sync)の周波数は60Hzである。図7(b)は、画像入力部410に入力されるフレームを示しており、図7(a)のクロックの立ち上がりを契機にフレームが入力される。図7(b)の例では、解像度が4KのフレームFn,Fn+1,Fn+2が順次入力されている。
図7(c)では、サブフレーム生成部420が、解像度を変換したサブフレームFn’と、さらにFn’を画素ずらししたサブフレームFn’’を生成する。ここで生成されるフレームの解像度は2Kであり、フレームFnに対応したサブフレームFn’およびFn’’、フレームFn+1に対応したサブフレームFn+1’およびFn+1’’、フレームFn+2に対応したサブフレームFn+2’およびFn+2’’がそれぞれ生成される。
生成されたサブフレームは、上述したように特徴抽出部431によって、フレームメモリ450に記憶される。また、この動作と併せて、特徴抽出部431は、サブフレーム画像の特徴量を抽出する。そして、画像補正部432は、前フレームFn−1から作成されたサブフレームFn−1’およびFn−1’’をフレームメモリから読み出し、当該サブフレームの記憶時に抽出された特徴量に基づいて、補正処理を行う。
図7(d)は、生成された2K画像が出力されるタイミングを示すクロックであり、垂直同期(V−sync)の周波数は120Hzである。図7(e)は、画像出力部460に入力されるフレームを示しており、図7(d)のクロックの立ち上がりを契機にフレームが出力される。図7(e)の例では、解像度が2KのフレームFn−1’,Fn−1’’,Fn’,Fn’’ ,Fn+1’,Fn+1’’が順次出力されている。
図7に示した通り本実施形態では、図13に示す動作タイミング図と異なり、画像が入力されると、補正を行う前にサブフレームを生成し、特徴抽出と同時にサブフレームをフレームメモリ450に記憶している。したがって、フレームメモリ450へのアクセス回数を減少することができ、これによって、画像の出力遅延を低減できる。
次に第2の実施形態について説明する。図8は、第2の実施形態における画像処理装置100のソフトウェアブロック図であり、画像処理装置100のうち、画像処理部430、フレームメモリ制御部440、フレームメモリ450を詳細に示したものである。なお、その他のソフトウェアブロックは適宜省略している。
第1の実施形態では、画像処理部430は、フレームごとに特徴を抽出し、かつフレームごとに画像補正をした。しかしながら、サブフレームFn’と、当該サブフレームを画素ずらししたフレームであるサブフレームFn’’とは相関性の高い画像であることから、両フレームデータは特徴が共通している蓋然性が高い。したがって、各フレームに対して別個に特徴抽出処理を行うと、回路規模の増大につながる。
そこで、第2の実施形態では、図8に示すように、特徴抽出部431を共通特徴抽出部431’とし、サブフレームFn’,Fn’’に共通する特徴量を抽出する。ここで抽出した共通特徴量を画像補正部432に通知し、画像補正部432は、当該共通特徴量に基づいて、サブフレームFn’,Fn’’の画像補正処理を行う。
このように、第2の実施形態によれば、フレームごとに特徴を抽出せず、相関性の高いフレームについては共通特徴量を抽出できることから、回路規模を削減することができる。
ここまで、第2の実施形態について説明した。以下に説明する第3の実施形態および第4の実施形態では、入力される画像の性質に応じた処理を行う。例えば、入力画像のフレームレートが低い場合などには、画像処理のアルゴリズムによって画質が劣化する場合がある。したがって、以下の実施形態では入力された画像に適した順序で画像の補正や画素ずらしなどの各種処理を行う。
第3の実施形態について説明する。例えば、画像処理装置100に入力される画像が静止画の場合には、同じフレームデータが連続して入力されることから、各フレームの画像の特徴は変化しない。したがって、入力されたフレームごとに特徴量を抽出する処理を実行し、フレームメモリ450にアクセスすることは非効率である。よって、第3の実施形態では、入力画像をフレームメモリ450に記憶せず、最初のフレームから抽出した特徴量を用いて、入力されたフレームを逐次補正する。
図9は、第3の実施形態における画像処理装置100のソフトウェアブロック図である。第3の実施形態は、入力画像が静止画の場合の処理であって、画像処理部430には、特徴抽出部431、画像補正部432に加えて、特徴記憶部433が含まれる。
また、各フレームの特徴量も共通していることから、最初に入力されたフレームの特徴量のみを特徴記憶部433に記憶し、画像補正部432は、当該特徴量を読み出して画像を補正する。その後、補正された画像ごとに画素ずらしをしたサブフレームを生成する。
第3の実施形態によれば、画像の補正時にフレームメモリ450にアクセスする処理を省略でき、効率的に画像を出力することができる。
次に第4の実施形態について説明する。図10は、第4の実施形態における画像処理装置100のソフトウェアブロック図である。第4の実施形態では、入力画像の性質に応じて、画像補正や画素ずらしなどの処理の順序を変更するために、画像処理フロー制御部470を含んで構成される。なお、処理の順序は、以下に説明する方法の他、ユーザからの操作によるモード設定によって切り替えてもよい。
第4の実施形態では、入力画像のフレームレートが低く、フレームメモリ450のバス帯域を超えない場合には、サブフレームを生成する前に画像の補正処理を行う。すなわち、画像処理フロー制御部470は、入力された画像のメモリ帯域に応じて画像処理の順序を変更できる。
また、画像処理フロー制御部470は、フレームレートや画像サイズなどに基づいてメモリ帯域を算出するメモリ帯域判定部471を含んでもよい。メモリ帯域判定部471は、フレームレートや画像サイズに基づいて算出したメモリ帯域が、実際に使用されるメモリに応じてあらかじめ算出されたメモリ帯域を超えるか否かを判定し、画像処理の順序を変更する情報を生成する。画像処理フロー制御部470は、メモリ帯域判定部471が判定し、生成した処理の順序を示す情報に基づいて、画像処理フローを制御し、適切な順序で画像補正や画素ずらしなどの処理を実行する。
また、画像処理フロー制御部470は、入力された画像が静止画であるか否かを判定するフレーム間差分判定部472を含んでもよい。フレーム間差分判定部472は、経時的に連続して入力された2つの画像のフレームデータについて差分を算出し、当該画像が静止画であるか否かを判定する。すなわち、2つの画像に差分があれば動画と判定し、差分がなければ静止画と判定する。
画像処理フロー制御部470は、フレーム間差分判定部472が判定した結果に基づき、画像が静止画である場合には、第3の実施形態に示したように、前フレームの入力時に抽出された特徴量に基づいて画像補正を行った後、画素ずらしによってサブフレームを生成する順序で処理を制御する。一方で、フレーム間差分判定部472が判定した結果に基づき、画像が動画である場合には、画素ずらし処理をしてサブフレームを生成した後、画像の特徴抽出および補正する順序で処理を制御する。
以上、説明した本発明の実施形態によれば、フレーム遅延を軽減した高画質化処理を行う画像処理装置、方法およびプログラムを提供することができる。
なお、上述した各実施形態におけるソフトウェアブロックは、CPUが本実施形態のプログラムを実行することで、各ハードウェアを機能させることにより、実現される機能手段に相当する。また、各実施形態に示した機能手段は、全部がソフトウェア的に実現されても良いし、その一部または全部を同等の機能を提供するハードウェアとして実装することもできる。
また、上述した本発明の各実施形態の各機能は、C、C++、C#、Java(登録商標)等で記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、CD−ROM、MO、DVD、フレキシブルディスク、EEPROM、EPROM等の装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。
以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。したがって、説明した各実施形態を組み合わせた場合であっても、本発明の範囲に含まれる。
100…画像処理装置、101…CPU、102…RAM、103…ROM、104…記憶装置、105…画像入力I/F、106…画像出力装置、201…照明光源、202…レンズ、203…DMD素子、204…画素ずらし手段、205…投射レンズ、206…スクリーン、410…画像入力部、420…サブフレーム生成部、430…画像処理部、431…特徴抽出部、432…画像補正部、433…特徴記憶部、440…フレームメモリ制御部、450…フレームメモリ、460…画像出力部、470…画像処理フロー制御部、471…メモリ帯域判定部、472…フレーム間画像差分判定部
Claims (8)
- 入力された画像を補正した画像を表示する装置であって、
入力画像の解像度を変換した第1のサブフレームを生成し、さらに当該第1のサブフレームを画素ずらしした第2のサブフレームを生成する、生成手段と、
前記第1のサブフレームおよび前記第2のサブフレームの特徴量を抽出するともに、当該第1のサブフレームおよび当該第2のサブフレームをフレームメモリに記憶する、特徴抽出手段と、
前記第1のサブフレームおよび前記第2のサブフレームを前記フレームメモリから読み出して、前記特徴量に基づいて補正する、画像補正手段と、
前記補正された前記第1のサブフレームおよび前記第2のサブフレームを投影装置に出力する、画像出力手段と
を含む、画像処理装置。 - 前記特徴量は、解像度を変換した前記第1のサブフレームから抽出された共通特徴量であって、前記共通特徴量に基づいて補正する、
請求項1に記載の画像処理装置。 - 前記入力画像が静止画の場合には、最初に生成された前記第1のサブフレームの特徴量に基づいて補正する、
請求項1または2に記載の画像処理装置。 - 前記第1のサブフレームおよび前記第2のサブフレームを生成する処理と、前記補正する処理とを実行する順序を制御する、画像処理フロー制御部を含む、請求項1〜3のいずれか1項に記載の画像処理装置。
- 前記画像処理フロー制御部は、前記入力画像のフレームレートから算出される前記フレームメモリのバス帯域に基づいて、処理の順序を制御する、請求項4に記載の画像処理装置。
- 前記画像処理フロー制御部は、前記入力画像のフレーム間の差分から判定される、当該入力画像が静止画であるか否かの判定結果に基づいて、処理の順序を制御する、請求項4に記載の画像処理装置。
- 入力された画像を補正した画像を表示する方法であって、
入力画像の解像度を変換した第1のサブフレームを生成し、さらに当該第1のサブフレームを画素ずらしした第2のサブフレームを生成するステップと、
前記第1のサブフレームおよび前記第2のサブフレームの特徴量を抽出するともに、当該第1のサブフレームおよび当該第2のサブフレームをフレームメモリに記憶するステップと、
前記第1のサブフレームおよび前記第2のサブフレームを前記フレームメモリから読み出して、前記特徴量に基づいて補正するステップと、
前記補正された前記第1のサブフレームおよび前記第2のサブフレームを投影装置に出力するステップと
を含む、方法。 - 入力された画像を補正した画像を表示する装置が実行するプログラムであって、前記装置を、
入力画像の解像度を変換した第1のサブフレームを生成し、さらに当該第1のサブフレームを画素ずらしした第2のサブフレームを生成する、生成手段、
前記第1のサブフレームおよび前記第2のサブフレームの特徴量を抽出するともに、当該第1のサブフレームおよび当該第2のサブフレームをフレームメモリに記憶する、特徴抽出手段、
前記第1のサブフレームおよび前記第2のサブフレームを前記フレームメモリから読み出して、前記特徴量に基づいて補正する、画像補正手段、
前記補正された前記第1のサブフレームおよび前記第2のサブフレームを投影装置に出力する、画像出力手段
として機能させる、装置実行可能なプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017102306A JP2018197799A (ja) | 2017-05-24 | 2017-05-24 | 画像処理装置、方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017102306A JP2018197799A (ja) | 2017-05-24 | 2017-05-24 | 画像処理装置、方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018197799A true JP2018197799A (ja) | 2018-12-13 |
Family
ID=64663609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017102306A Pending JP2018197799A (ja) | 2017-05-24 | 2017-05-24 | 画像処理装置、方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018197799A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023048010A1 (ja) * | 2021-09-27 | 2023-03-30 | 株式会社Jvcケンウッド | 表示装置および表示方法 |
-
2017
- 2017-05-24 JP JP2017102306A patent/JP2018197799A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023048010A1 (ja) * | 2021-09-27 | 2023-03-30 | 株式会社Jvcケンウッド | 表示装置および表示方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6155717B2 (ja) | 画像処理装置、プロジェクター及び画像処理方法 | |
JP5348022B2 (ja) | プロジェクターおよび射影変換処理装置 | |
JP2006259403A (ja) | 画像処理装置、画像表示装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体 | |
WO2016043161A1 (ja) | 表示装置、表示システム、及び表示制御プログラム | |
JP2015097350A (ja) | 画像処理装置およびマルチプロジェクションシステム | |
JP2007150531A (ja) | 画像処理装置および画像処理方法 | |
US11069038B2 (en) | Information processing apparatus, information processing method, and image display apparatus | |
US9412310B2 (en) | Image processing apparatus, projector, and image processing method | |
JP7331465B2 (ja) | 表示装置の制御方法、及び表示装置 | |
CN114449233B (zh) | 投影装置与其梯形校正方法 | |
WO2008020506A1 (fr) | dispositif de commande d'affichage d'image, procédé D'AFFICHAGE D'IMAGE, et support de stockage d'informations | |
JP5116740B2 (ja) | 画像処理装置、画像処理方法及び画像表示装置 | |
US10652507B2 (en) | Display system, image processing apparatus, and display method | |
US10657622B2 (en) | Controlling projected image frame rate in response to determined projection surface curvature | |
JP2018197799A (ja) | 画像処理装置、方法およびプログラム | |
JP2019193144A (ja) | 投影装置およびその制御方法 | |
JP2017220810A (ja) | 画像処理装置、方法およびプログラム | |
JP2011097629A (ja) | 画像処理装置および画像処理方法 | |
JP5047700B2 (ja) | 画像表示装置、画像処理方法、及びプログラム | |
JP2011141341A (ja) | 映像信号分配装置及びその制御方法、プログラム | |
JP2020020917A (ja) | プロジェクター、及び、プロジェクターの制御方法 | |
US11114001B2 (en) | Image processing device, method of controlling image processing device, and display device | |
JP5141871B2 (ja) | 画像処理方法及び画像表示装置 | |
JP5353772B2 (ja) | プロジェクター | |
JP4428624B2 (ja) | 画像表示システム |