JP2018197799A - Image processing apparatus, method, and program - Google Patents
Image processing apparatus, method, and program Download PDFInfo
- Publication number
- JP2018197799A JP2018197799A JP2017102306A JP2017102306A JP2018197799A JP 2018197799 A JP2018197799 A JP 2018197799A JP 2017102306 A JP2017102306 A JP 2017102306A JP 2017102306 A JP2017102306 A JP 2017102306A JP 2018197799 A JP2018197799 A JP 2018197799A
- Authority
- JP
- Japan
- Prior art keywords
- subframe
- image
- frame
- image processing
- frame memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
本発明は、画像処理装置、方法およびプログラムに関する。 The present invention relates to an image processing apparatus, method, and program.
近年、プロジェクタやディスプレイモニタなどの画像表示装置は、高画質化に伴い、４Ｋや８Ｋなどの高い解像度を持つ装置が開発されている。しかしながら、解像度を高くすると、製造コストも高くなるという問題がある。 In recent years, image display devices such as projectors and display monitors have been developed with high resolution such as 4K and 8K as image quality is improved. However, when the resolution is increased, there is a problem that the manufacturing cost increases.
特開２００３−３０２９５２号公報（特許文献１）では、プロジェクタにおいて高解像度を安価で実現する方法として、「画素ずらし」という方法が提案されている。図１１は、画素ずらしによって解像度を向上する方法について説明する図である。図１１（ａ）では、画素数が１６画素（縦方向が４画素、横方向が４画素）の画面を表示するプロジェクタの例を示しており、図１１（ｂ）では、画素ずらしによって見かけ上の画素数を２倍にしている例を示す。 Japanese Patent Laid-Open No. 2003-302952 (Patent Document 1) proposes a method of “pixel shifting” as a method for realizing high resolution at a low cost in a projector. FIG. 11 is a diagram illustrating a method for improving the resolution by shifting pixels. FIG. 11A shows an example of a projector that displays a screen having 16 pixels (4 pixels in the vertical direction and 4 pixels in the horizontal direction). FIG. 11B shows the appearance by shifting the pixels. An example in which the number of pixels is doubled is shown.
例示したプロジェクタは、表示する光の角度を調節することによって、図１１（ｂ）のように各画素を４５°の方向に半画素分ずらしたサブフレームを挿入する。このように、元の画素と、ずらした画素とを交互に表示することで、見かけ上の画素数を２倍にすることができる。 The illustrated projector inserts a subframe in which each pixel is shifted by a half pixel in a 45 ° direction as shown in FIG. 11B by adjusting the angle of light to be displayed. In this way, the apparent number of pixels can be doubled by alternately displaying the original pixels and the shifted pixels.
また、特許文献１では、画素ずらし処理に加えて、入力された画像データの画質を向上させる処理を行うことを開示している。図１２は、従来技術における画像処理装置１２００のソフトウェアブロック図である。 Japanese Patent Application Laid-Open No. 2004-228561 discloses performing processing for improving the image quality of input image data in addition to pixel shifting processing. FIG. 12 is a software block diagram of the image processing apparatus 1200 in the prior art.
画像入力部１２０１に入力された画像のフレームデータは、画像処理部１２０２において、ヒストグラムの生成などの特徴抽出処理が施され、当該特徴を利用して明度補正などの高画質化処理が行われる。画像の補正はフレーム全体特徴に基づいて行われることから、各フレームデータはフレームメモリ制御部１２１０ａを介してフレームメモリ１２２０ａに記憶される。 Image frame data input to the image input unit 1201 is subjected to feature extraction processing such as histogram generation in the image processing unit 1202, and image quality improvement processing such as brightness correction is performed using the feature. Since the image correction is performed based on the whole frame feature, each frame data is stored in the frame memory 1220a via the frame memory control unit 1210a.
補正された画像のフレームデータは、サブフレーム生成部１２０３において、画素ずらし処理が施されたサブフレームのデータとして生成され、フレームメモリ制御部１２１０ｂを介してフレームメモリ１２２０ｂに記憶される。そして、画像出力部１２０４は、フレームメモリ１２２０ｂに記憶された各フレームデータを読み出して出力することで画像を投影する。 The corrected frame data of the image is generated as subframe data subjected to the pixel shifting process in the subframe generation unit 1203 and stored in the frame memory 1220b via the frame memory control unit 1210b. Then, the image output unit 1204 projects an image by reading out and outputting each frame data stored in the frame memory 1220b.
上記の各処理は、各フレームの処理を並行してパイプライン動作として行うことができる。図１３は、従来技術における画像処理装置１２００の各機能ブロックの動作タイミングを示す図である。図１３では、入力画像の解像度が４Ｋ、フレームレートが６０Ｈｚ、出力画像の解像度が２Ｋ、フレームレートが１２０Ｈｚの場合を例に説明する。 In each of the above processes, the process of each frame can be performed as a pipeline operation in parallel. FIG. 13 is a diagram illustrating the operation timing of each functional block of the image processing apparatus 1200 according to the related art. FIG. 13 illustrates an example in which the resolution of an input image is 4K, the frame rate is 60 Hz, the resolution of an output image is 2K, and the frame rate is 120 Hz.
図１３に示すように、画像入力部１２０１には、フレームＦｎ，Ｆｎ＋１，Ｆｎ＋２が入力されている。一方で、画像出力部１２０４からは、入力画像の２倍のフレームレートで、フレームＦｎ−２’，Ｆｎ−２’’，Ｆｎ−１’，Ｆｎ−１’’，Ｆｎ’，Ｆｎ’’が出力される。しかしながら、画像処理部１２０２、サブフレーム生成部１２０３、画像出力部１２０４は、それぞれフレームメモリ１２２０にアクセスすることから遅延が生じる。したがって、出力される画像のフレームは、フレームメモリの読み出しなどによって、入力画像に対して２フレーム分遅れて出力されることから、画像遅延の原因となる。 As illustrated in FIG. 13, frames F n , F n + 1 , and F n + 2 are input to the image input unit 1201. On the other hand, from the image output unit 1204, the frames F n−2 ′, F n−2 ″, F n−1 ′, F n−1 ″, and F n ′ have a frame rate twice that of the input image. , F n ″ are output. However, the image processing unit 1202, the subframe generation unit 1203, and the image output unit 1204 each have a delay because they access the frame memory 1220. Accordingly, the output image frame is delayed by 2 frames from the input image due to reading out of the frame memory or the like, which causes image delay.
また、図１２のフレームメモリ制御部とフレームメモリとをそれぞれ１つずつとすることで、遅延を軽減することも可能であるが、データ量が大きくなるため、フレームメモリ制御部とフレームメモリとを接続するバスの帯域幅を増やす必要が生じ、コストの増加につながる。 In addition, the delay can be reduced by using one frame memory control unit and one frame memory in FIG. 12, but since the amount of data increases, the frame memory control unit and the frame memory are connected to each other. It becomes necessary to increase the bandwidth of the bus to be connected, leading to an increase in cost.
そこで、画像の高画質化を実現する、さらなる画像表示技術が求められていた。 Therefore, there has been a demand for further image display technology that realizes high image quality.
本発明は、上記従来技術における課題に鑑みてなされたものであり、フレーム遅延を軽減した高画質化処理を行う画像処理装置、方法およびプログラムを提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an image processing apparatus, a method, and a program for performing high image quality processing with reduced frame delay.
すなわち、本発明によれば、入力された画像を補正した画像を表示する装置であって、
入力画像の解像度を変換した第１のサブフレームを生成し、さらに当該第１のサブフレームを画素ずらしした第２のサブフレームを生成する、生成手段と、
前記第１のサブフレームおよび前記第２のサブフレームの特徴量を抽出するともに、当該第１のサブフレームおよび当該第２のサブフレームをフレームメモリに記憶する、特徴抽出手段と、
前記第１のサブフレームおよび前記第２のサブフレームを前記フレームメモリから読み出して、前記特徴量に基づいて補正する、画像補正手段と、
前記補正された前記第１のサブフレームおよび前記第２のサブフレームを投影装置に出力する、画像出力手段と
を含む、画像処理装置が提供される。
That is, according to the present invention, an apparatus for displaying an image obtained by correcting an input image,
Generating means for generating a first subframe in which the resolution of the input image is converted, and generating a second subframe in which the first subframe is shifted in pixels;
Feature extraction means for extracting feature quantities of the first subframe and the second subframe, and storing the first subframe and the second subframe in a frame memory;
Image correction means for reading out the first subframe and the second subframe from the frame memory and correcting based on the feature amount;
There is provided an image processing apparatus including: an image output unit that outputs the corrected first subframe and the second subframe to a projection apparatus.
上述したように、本発明によれば、フレーム遅延を軽減した高画質化処理を行う画像処理装置、方法およびプログラムが提供される。 As described above, according to the present invention, an image processing apparatus, method, and program for performing high image quality processing with reduced frame delay are provided.
以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜その説明を省略するものとする。また、以下では画像処理装置１００の例としてプロジェクタで以て説明するが、これに限定するものではない。 Hereinafter, although this invention is demonstrated with embodiment, this invention is not limited to embodiment mentioned later. In the drawings referred to below, the same reference numerals are used for common elements, and descriptions thereof are omitted as appropriate. In the following, a projector will be described as an example of the image processing apparatus 100, but the present invention is not limited to this.
図１は、本発明の各実施形態における画像処理装置１００のハードウェアの概略構成を示す図である。画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、記憶装置１０４、画像入力Ｉ／Ｆ１０５、画像出力装置１０６を含み、各ハードウェアはバスラインによって電気的に接続されている。 FIG. 1 is a diagram showing a schematic configuration of hardware of an image processing apparatus 100 according to each embodiment of the present invention. The image processing apparatus 100 includes a CPU 101, a RAM 102, a ROM 103, a storage device 104, an image input I / F 105, and an image output device 106, and each hardware is electrically connected by a bus line.
ＣＰＵ１０１は、画像処理装置１００の動作を制御するプログラムを実行し、所定の処理を行う装置である。ＲＡＭ１０２は、ＣＰＵ１０１が実行するプログラムの実行空間を提供するための揮発性の記憶装置であり、プログラムやデータの格納用、展開用として使用される。ＲＯＭ１０３は、ＣＰＵ１０１が実行するプログラムやファームウェアなどを記憶するための不揮発性の記憶装置である。記憶装置１０４は、画像処理装置１００を機能させるＯＳや各種アプリケーション、設定情報、各種データなどを記憶する、読み書き可能な不揮発性の記憶装置である。 The CPU 101 is a device that executes a program for controlling the operation of the image processing apparatus 100 and performs predetermined processing. The RAM 102 is a volatile storage device for providing an execution space for programs executed by the CPU 101, and is used for storing and developing programs and data. The ROM 103 is a nonvolatile storage device for storing programs executed by the CPU 101, firmware, and the like. The storage device 104 is a readable / writable nonvolatile storage device that stores an OS, various applications, setting information, various data, and the like that cause the image processing apparatus 100 to function.
画像入力Ｉ／Ｆ１０５は、パソコンなどの外部の端末と接続し、画像を入力するためのインターフェースであり、例として、ＨＤＭＩ（登録商標）などが挙げられる。画像出力装置１０６は、入力された画像に各種処理を行い、レーザープロジェクションなどの手段によって画像を出力するための装置である。ここでいう各種処理とは、画素ずらし処理のほかに、例えば、色の調整や台形補正などが挙げられる。 The image input I / F 105 is an interface for connecting to an external terminal such as a personal computer and inputting an image. Examples thereof include HDMI (registered trademark). The image output device 106 is a device for performing various processes on the input image and outputting the image by means such as laser projection. Examples of the various processes here include color adjustment and keystone correction in addition to the pixel shifting process.
以上、本実施形態の画像処理装置１００のハードウェアについて説明した。次に画像出力装置１０６の構成について説明する。図２は、画像出力装置１０６における光学ブロックを説明する図である。 The hardware of the image processing apparatus 100 according to the present embodiment has been described above. Next, the configuration of the image output device 106 will be described. FIG. 2 is a diagram for explaining an optical block in the image output apparatus 106.
入力画像のフレームやサブフレームなどの画像情報は、照明光源２０１から光として放射される。放射された光は、レンズ２０２を通してＤＭＤ（Digital Mirror Device）素子２０３に照射される。ＤＭＤ素子２０３は、画像情報に基づいて、画素ごとにミラーの反射角度を電子的に制御できる素子である。 Image information such as an input image frame and sub-frame is emitted from the illumination light source 201 as light. The emitted light is applied to a DMD (Digital Mirror Device) element 203 through a lens 202. The DMD element 203 is an element that can electronically control the reflection angle of the mirror for each pixel based on image information.
ＤＭＤ素子２０３によって反射された光は、画素ずらし手段２０４、投射レンズ２０５を通過することで、画像がスクリーン２０６上に投影される。画素ずらし手段２０４は、フレームの周期に応じて、投影画像の光路を一次元方向または二次元方向にシフトさせる機能を持つため、画素ずれした画像をスクリーン２０６に投影することができ、解像度を向上させることができる。 The light reflected by the DMD element 203 passes through the pixel shifting means 204 and the projection lens 205, so that an image is projected on the screen 206. The pixel shifting unit 204 has a function of shifting the optical path of the projected image in a one-dimensional direction or a two-dimensional direction according to the period of the frame, so that the pixel-shifted image can be projected onto the screen 206 and the resolution is improved. Can be made.
次に、サブフレームについて説明する。図３は、画素ずらしによって生成されるサブフレームを説明する図であり、図３（ａ）は入力画像の各フレームを、図３（ｂ）は生成されたサブフレームの出力画像を、それぞれ例示している。また、以下の説明において、１フレーム目と２フレーム目の間に挿入されるサブフレームを、便宜上「１．５フレーム目」として記載し、他のサブフレームについても同様に表現する。 Next, subframes will be described. 3A and 3B are diagrams for explaining subframes generated by pixel shifting. FIG. 3A illustrates each frame of the input image, and FIG. 3B illustrates an output image of the generated subframe. doing. In the following description, the subframe inserted between the first frame and the second frame is described as “1.5th frame” for convenience, and the other subframes are also expressed in the same manner.
なお、図３において、入力画像の画素数は、図３（ａ）のように１６画素（縦４画素×横４画素）で、出力画像の画素数は、図３（ｂ）のように４画素（縦２画素×横２画素）で、それぞれ構成されており、出力画像のフレームレートは、入力画像のフレームレートよりも２倍高い場合を例示している。 In FIG. 3, the number of pixels of the input image is 16 pixels (4 vertical pixels × 4 horizontal pixels) as shown in FIG. 3A, and the number of pixels of the output image is 4 as shown in FIG. 3B. It is composed of pixels (2 vertical pixels × 2 horizontal pixels), and the frame rate of the output image is twice as high as the frame rate of the input image.
入力画像が、図３（ａ）に示すように、１フレーム目から４フレーム目まで、それぞれ１〜４のように変化した場合には、入力画像の各フレームに対して画素ずらし処理したサブフレームを挿入する。 As shown in FIG. 3A, when the input image changes from the first frame to the fourth frame, such as 1 to 4, sub-frames obtained by subjecting each frame of the input image to pixel shift processing. Insert.
例えば、図３（ｂ）では、出力画像の１フレーム目および１．５フレーム目で、入力画像の１フレーム目を表示しているが、このとき１．５フレーム目の画像では、画素を４５°の方向にずらしたサブフレームを挿入している。同様に、各入力画像のフレーム間に、当該入力画像のフレームに対応する、画素ずらし処理をしたサブフレームを挿入することで、見かけ上の解像度を向上させることができる。 For example, in FIG. 3B, the first frame of the input image is displayed in the first frame and the 1.5th frame of the output image. A subframe shifted in the direction of ° is inserted. Similarly, the apparent resolution can be improved by inserting a sub-frame subjected to pixel shifting processing corresponding to the frame of the input image between the frames of the input image.
なお、画素ずらしの方法は、上記のように斜め方向に４５°ずらす方法に限らず、例えば、水平方向の画素ずらしと、垂直方向の画素ずらしと、を組み合わせて、矩形にずらす方法などであってもよい。画素ずらしの方法は、入出力画像の解像度やフレームレートなどに応じて選択できる。 Note that the pixel shifting method is not limited to the method of shifting 45 ° in the oblique direction as described above. For example, the pixel shifting method may be a method of combining a horizontal pixel shifting and a vertical pixel shifting to shift to a rectangle. May be. The pixel shifting method can be selected according to the resolution and frame rate of the input / output image.
以下では、本発明の実施形態をより具体的な実施例で以て説明する。なお、以下に説明する各実施形態では、入力画像に対して出力画像は、解像度が１／２で、フレームレートが２倍である場合を例に説明する。 In the following, embodiments of the present invention will be described with more specific examples. In each of the embodiments described below, an example in which the output image has a resolution of 1/2 and the frame rate is twice that of the input image will be described.
まず、第１の実施形態について、図４〜６を以て説明する。図４は、第１の実施形態における画像処理装置１００のソフトウェアブロック図である。図４は、図１に示した各ハードウェアによって実行される各種の機能手段である。なお、図中の矢線は、データのフローを示している。 First, the first embodiment will be described with reference to FIGS. FIG. 4 is a software block diagram of the image processing apparatus 100 according to the first embodiment. FIG. 4 shows various functional means executed by the hardware shown in FIG. In addition, the arrow line in a figure has shown the flow of data.
画像処理装置１００は、画像入力部４１０、サブフレーム生成部４２０、画像処理部４３０、フレームメモリ制御部４４０、フレームメモリ４５０、画像出力部４６０を含む。以下に、各機能ブロックについての詳細を説明する。 The image processing apparatus 100 includes an image input unit 410, a subframe generation unit 420, an image processing unit 430, a frame memory control unit 440, a frame memory 450, and an image output unit 460. Details of each functional block will be described below.
画像入力部４１０は、画像入力Ｉ／Ｆ１０５を制御し、パソコンなどの外部装置からの画像を入力する手段である。入力された画像のデータは、フレームごとにサブフレーム生成部４２０へ伝送される。 The image input unit 410 is means for controlling the image input I / F 105 and inputting an image from an external device such as a personal computer. The input image data is transmitted to the subframe generation unit 420 for each frame.
サブフレーム生成部４２０は、入力画像の各フレームを出力装置の仕様に対応したフレームに変換し、生成する手段である。具体的には、出力装置の解像度に対応したサブフレームを生成し、さらに上述した方法によって画素ずらしをしたサブフレームを生成する。生成されたサブフレームのデータは、画像処理部４３０に送られる。なお、以下では、Ｎ番目に入力された画像フレームＦｎに対して、出力装置の解像度に対応したサブフレームをＦｎ’とし、さらに画素ずらしによって生成されたサブフレームをＦｎ’’として表記する。 The sub-frame generation unit 420 is a unit that converts each frame of the input image into a frame corresponding to the specification of the output device and generates the frame. Specifically, a subframe corresponding to the resolution of the output device is generated, and further, a subframe in which pixels are shifted by the above-described method is generated. The generated subframe data is sent to the image processing unit 430. In the following, for the N-th input image frame F n , a sub-frame corresponding to the resolution of the output device is denoted as F n ′, and a sub-frame generated by pixel shifting is denoted as F n ″. To do.
画像処理部４３０は、サブフレームを含む各フレームに対して、明度補正などの種々の高画質化処理を行う手段であり、特徴抽出部４３１と画像補正部４３２とを含む。特徴抽出部４３１は、補正処理を行うために、ヒストグラムなどといった各種特徴量をフレームごとに抽出する。特徴抽出部４３１に入力されたフレームデータは、特徴を抽出されるとともに、フレームメモリ制御部４４０を介して、フレームメモリ４５０に記憶される。また、抽出された特徴量は、画像補正部４３２に通知される。 The image processing unit 430 is a unit that performs various image quality enhancement processing such as brightness correction on each frame including subframes, and includes a feature extraction unit 431 and an image correction unit 432. The feature extraction unit 431 extracts various feature amounts such as a histogram for each frame in order to perform correction processing. The frame data input to the feature extraction unit 431 is extracted with features and stored in the frame memory 450 via the frame memory control unit 440. The extracted feature amount is notified to the image correction unit 432.
なお、フレームメモリ制御部４４０は、記憶装置１０４を制御する手段であり、データの書き込みおよび読み出しを行う。フレームメモリ４５０は、記憶装置１０４のうち、画像のフレームデータを記憶する領域である。したがって、フレームメモリ制御部４４０およびフレームメモリ４５０によって、画素ずらし処理が施されたサブフレームを含む各フレームデータは、一時的に記憶され、画像補正処理を待機する。 Note that the frame memory control unit 440 is means for controlling the storage device 104 and performs writing and reading of data. The frame memory 450 is an area in the storage device 104 that stores image frame data. Therefore, each frame data including the sub-frame that has been subjected to the pixel shifting process by the frame memory control unit 440 and the frame memory 450 is temporarily stored and waits for the image correction process.
画像補正部４３２は、各画像の補正を行う手段である。画像補正部４３２は、フレームメモリ制御部４４０を介して、フレームメモリ４５０に記憶されている、各フレームのデータを読み出し、特徴抽出部４３１から取得した特徴抽出部４３１が抽出した各画像の特徴に基づいて、フレームごとに画像の補正を行う。補正処理された画像のフレームデータは、画像出力部４６０に伝送される。 The image correction unit 432 is a unit that corrects each image. The image correction unit 432 reads out the data of each frame stored in the frame memory 450 via the frame memory control unit 440 and extracts the feature of each image extracted by the feature extraction unit 431 acquired from the feature extraction unit 431. Based on this, the image is corrected for each frame. The frame data of the corrected image is transmitted to the image output unit 460.
画像出力部４６０は、画像出力装置１０６を制御し、画像のフレームデータを順次投影画像として出力する手段である。 The image output unit 460 is means for controlling the image output device 106 and sequentially outputting image frame data as a projected image.
ここまで、第１の実施形態における機能ブロックについて説明した。次に、各機能ブロックが実行する処理について説明する。図５は、第１の実施形態において画像処理装置１００が実行する処理のフローチャートである。 Up to this point, the functional blocks in the first embodiment have been described. Next, processing executed by each functional block will be described. FIG. 5 is a flowchart of processing executed by the image processing apparatus 100 in the first embodiment.
まず、画像処理装置１００は、ステップＳ１０００から処理を開始し、ステップＳ１００１で、画像の入力があるかを判定する。画像の入力がない場合（ＮＯ）には、ステップＳ１００１に戻って処理を繰り返すことで、画像の入力を待機する。画像の入力があった場合（ＹＥＳ）には、ステップＳ１００２に進む。 First, the image processing apparatus 100 starts processing from step S1000, and determines whether there is an input of an image in step S1001. If there is no image input (NO), the process returns to step S1001 to repeat the processing, thereby waiting for image input. If an image has been input (YES), the process proceeds to step S1002.
ステップＳ１００２において、画像入力部４１０は、入力されたフレーム画像を、サブフレーム生成部４２０に伝送する。サブフレーム生成部４２０は、ステップＳ１００３で、入力画像フレームＦｎに基づいて、出力装置の解像度に対応したサブフレームＦｎ’および画素ずらしを行ったサブフレームＦｎ’’を生成する。 In step S <b> 1002, the image input unit 410 transmits the input frame image to the subframe generation unit 420. Sub-frame generation unit 420, at step S1003, on the basis of the input image frame F n, and generates a 'sub-frame F n performing the shifting and pixel' subframe F n corresponding to the resolution of the output device.
次に、ステップＳ１００４で、特徴抽出部４３１は各フレームの画像の特徴量を抽出する。特徴量抽出の例としては、ヒストグラムの生成などが挙げられるが、これに限定するものではない。その後、ステップＳ１００５で、特徴抽出部４３１は、特徴を抽出したフレームデータを、フレームメモリ制御部４４０を介してフレームメモリ４５０に記憶する。また、特徴抽出部４３１は、抽出した画像の特徴量を画像補正部４３２に通知する。なお、特徴抽出部４３１は、ステップＳ１００４とＳ１００５の処理を同時に行う。 In step S1004, the feature extraction unit 431 extracts the feature amount of each frame image. Examples of feature amount extraction include generation of a histogram, but are not limited thereto. Thereafter, in step S1005, the feature extraction unit 431 stores the frame data from which the feature has been extracted in the frame memory 450 via the frame memory control unit 440. Further, the feature extraction unit 431 notifies the image correction unit 432 of the feature amount of the extracted image. Note that the feature extraction unit 431 performs the processing of steps S1004 and S1005 at the same time.
その後、ステップＳ１００６では、画像補正部４３２は、フレームメモリ制御部４４０を介してフレームメモリ４５０からフレームデータを読み込む。また、画像補正部４３２は、ステップＳ１００６と併せて、特徴抽出部４３１から特徴量を取得する。そして、ステップＳ１００７で、特徴抽出部４３１から通知された特徴量に基づいて、読み込んだフレームデータの画像補正処理を行う。 Thereafter, in step S1006, the image correction unit 432 reads frame data from the frame memory 450 via the frame memory control unit 440. In addition, the image correction unit 432 acquires a feature amount from the feature extraction unit 431 in combination with step S1006. In step S1007, based on the feature amount notified from the feature extraction unit 431, image correction processing of the read frame data is performed.
補正処理された画像のフレームデータは、ステップＳ１００８において、画像出力部４６０から出力され、画像出力装置１０６によって、スクリーン２０６に投影される。ステップＳ１００８の後、ステップＳ１００１に戻り、ステップＳ１００１〜１００８の処理を繰り返す。 The frame data of the corrected image is output from the image output unit 460 in step S1008 and projected onto the screen 206 by the image output device 106. After step S1008, the process returns to step S1001, and the processing of steps S1001 to 1008 is repeated.
ここで、図５のフローチャートで行う処理を機能ブロックごとに示す。図６は、各機能ブロックが実行する処理の詳細を示すシーケンス図である。まず、ステップＳ２０００で、サブフレーム生成部４２０にフレームＦｎの画像が入力されると、ステップＳ２００１で、サブフレームＦｎ’、Ｆｎ’’が生成される。その後、生成されたサブフレームＦｎ’、Ｆｎ’’は、ステップＳ２００２で、特徴抽出部４３１に送付される。 Here, the processing performed in the flowchart of FIG. 5 is shown for each functional block. FIG. 6 is a sequence diagram showing details of processing executed by each functional block. First, when an image of the frame F n is input to the sub-frame generation unit 420 in step S2000, sub-frames F n ′ and F n ″ are generated in step S2001. Thereafter, the generated subframes F n ′ and F n ″ are sent to the feature extraction unit 431 in step S2002.
特徴抽出部４３１では、ステップＳ２００３で、各サブフレームの特徴量を抽出する。また、特徴抽出部４３１は、特徴抽出処理と併せて、ステップＳ２００４で、サブフレームＦｎ’、Ｆｎ’’をフレームメモリ４５０に送付する。フレームメモリ４５０は、ステップＳ２００５で、送付されたＦｎ’、Ｆｎ’’を記憶する。 In step S2003, the feature extraction unit 431 extracts the feature amount of each subframe. The feature extraction unit 431 sends the subframes F n ′ and F n ″ to the frame memory 450 in step S2004 together with the feature extraction process. In step S2005, the frame memory 450 stores the sent F n ′ and F n ″.
さらに、特徴抽出部４３１は、ステップＳ２００６で、抽出した特徴量を画像補正部４３２に通知する。この処理と併せて、画像補正部４３２は、ステップＳ２００７で、フレームメモリ４５０に対してサブフレームＦｎ’の読み出しを依頼する。ステップＳ２００８で、フレームメモリ４５０は、サブフレームＦｎ’を画像補正部４３２に通知する。 In step S2006, the feature extraction unit 431 notifies the image correction unit 432 of the extracted feature amount. In addition to this processing, the image correction unit 432 requests the frame memory 450 to read the subframe F n ′ in step S2007. In step S2008, the frame memory 450 notifies the image correction unit 432 of the subframe F n ′.
そして、画像補正部４３２は、ステップＳ２００９で、特徴量に基づいて、取得したサブフレームＦｎ’を補正する。補正されたサブフレームＦｎ’は、ステップＳ２０１０で、画像出力部４６０を介して、画像出力装置１０６に出力される。この処理と併せて、画像補正部４３２は、ステップＳ２０１１で、フレームメモリ４５０に対してサブフレームＦｎ’’の読み出しを依頼する。そして、ステップＳ２０１２で、フレームメモリ４５０は、サブフレームＦｎ’’を画像補正部４３２に通知する。 In step S2009, the image correction unit 432 corrects the acquired subframe F n ′ based on the feature amount. The corrected subframe F n ′ is output to the image output device 106 via the image output unit 460 in step S2010. In conjunction with this process, the image correction unit 432 requests the frame memory 450 to read out the subframe F n ″ in step S2011. In step S2012, the frame memory 450 notifies the image correction unit 432 of the subframe F n ″.
その後、画像補正部４３２は、ステップＳ２０１３で、特徴量に基づいて、取得したサブフレームＦｎ’’を補正する。補正されたサブフレームＦｎ’’は、ステップＳ２０１４で、画像出力部４６０を介して、画像出力装置１０６に出力される。したがって、サブフレームＦｎ’’は、フレームメモリ４５０に記憶され、１クロック分の時間だけ待機した後、読み出し、補正、出力が行われる。 Thereafter, the image correction unit 432 corrects the acquired subframe F n ″ based on the feature amount in step S2013. The corrected subframe F n ″ is output to the image output device 106 via the image output unit 460 in step S2014. Therefore, the sub-frame F n ″ is stored in the frame memory 450, and is read, corrected, and output after waiting for a time corresponding to one clock.
なお、ステップＳ２０１１〜Ｓ２０１４の処理は、ステップＳ２００７〜Ｓ２０１０の処理と同様である。また、入力された画像フレームＦｎが最終フレームでない場合には、ステップＳ２０１４の処理と併せて、次フレームＦｎ＋１から生成されたサブフレームＦｎ＋１’の読み出し依頼を行う。 Note that the processes in steps S2011 to S2014 are the same as the processes in steps S2007 to S2010. If the input image frame F n is not the final frame, a request for reading out the sub-frame F n + 1 ′ generated from the next frame F n + 1 is made together with the processing in step S2014.
なお、特徴抽出部４３１および画像補正部４３２と、フレームメモリ４５０とのデータのやり取りは、フレームメモリ制御部４４０を介して行われる。 Note that data exchange between the feature extraction unit 431 and the image correction unit 432 and the frame memory 450 is performed via the frame memory control unit 440.
図５，６に示した各処理は、一つのフレームが入力されてから出力するまでの動作フローが完了する前に、次フレームが入力され、当該フレームの動作フローが重なりながら処理される。すなわち、フレームごとにパイプライン動作によって処理される。 Each process shown in FIGS. 5 and 6 is processed while the next frame is input and the operation flows of the frames are overlapped before the operation flow from the input of one frame to the output is completed. That is, each frame is processed by a pipeline operation.
上述した処理によって、メモリのバスの帯域幅を増加することなく、かつ入出力遅延を低減して、画像を高解像度化することができる。次に、上述の処理を行う画像処理装置１００の動作タイミングについて説明する。図７は、第１の実施形態における画像処理装置１００の各機能ブロックの動作タイミングを示す図である。ここでは、入力画像の解像度が４Ｋ、フレームレートが６０Ｈｚとし、出力画像の解像度が２Ｋ、フレームレートが１２０Ｈｚとした場合を例に説明する。 With the above-described processing, it is possible to increase the resolution of an image without increasing the bandwidth of the memory bus and reducing the input / output delay. Next, the operation timing of the image processing apparatus 100 that performs the above-described processing will be described. FIG. 7 is a diagram illustrating the operation timing of each functional block of the image processing apparatus 100 according to the first embodiment. Here, a case where the resolution of the input image is 4K, the frame rate is 60 Hz, the resolution of the output image is 2K, and the frame rate is 120 Hz will be described as an example.
図７（ａ）は、画像が入力されるタイミングを示すクロックであり、垂直同期（Ｖ−ｓｙｎｃ）の周波数は６０Ｈｚである。図７（ｂ）は、画像入力部４１０に入力されるフレームを示しており、図７（ａ）のクロックの立ち上がりを契機にフレームが入力される。図７（ｂ）の例では、解像度が４ＫのフレームＦｎ，Ｆｎ＋１，Ｆｎ＋２が順次入力されている。 FIG. 7A is a clock indicating the timing at which an image is input, and the frequency of vertical synchronization (V-sync) is 60 Hz. FIG. 7B shows a frame input to the image input unit 410, and the frame is input in response to the rising edge of the clock in FIG. In the example of FIG. 7B, frames F n , F n + 1 , and F n + 2 having a resolution of 4K are sequentially input.
図７（ｃ）では、サブフレーム生成部４２０が、解像度を変換したサブフレームＦｎ’と、さらにＦｎ’を画素ずらししたサブフレームＦｎ’’を生成する。ここで生成されるフレームの解像度は２Ｋであり、フレームＦｎに対応したサブフレームＦｎ’およびＦｎ’’、フレームＦｎ＋１に対応したサブフレームＦｎ＋１’およびＦｎ＋１’’、フレームＦｎ＋２に対応したサブフレームＦｎ＋２’およびＦｎ＋２’’がそれぞれ生成される。 In FIG. 7 (c), the sub-frame generation unit 420 'and, further F n' sub-frame F n obtained by converting the resolution to produce a sub-frame F n '' which has the pixel shifting. Resolution frames generated here is 2K, the frame F n subframe F n 'and F n' corresponding to the 'sub-frame F n + 1 corresponding to the frame F n + 1' and F n + 1 '', the frame F n + 2 Subframes F n + 2 ′ and F n + 2 ″ corresponding to are respectively generated.
生成されたサブフレームは、上述したように特徴抽出部４３１によって、フレームメモリ４５０に記憶される。また、この動作と併せて、特徴抽出部４３１は、サブフレーム画像の特徴量を抽出する。そして、画像補正部４３２は、前フレームＦｎ−１から作成されたサブフレームＦｎ−１’およびＦｎ−１’’をフレームメモリから読み出し、当該サブフレームの記憶時に抽出された特徴量に基づいて、補正処理を行う。 The generated subframe is stored in the frame memory 450 by the feature extraction unit 431 as described above. Along with this operation, the feature extraction unit 431 extracts the feature amount of the subframe image. Then, the image correction unit 432 reads out the subframes F n-1 ′ and F n-1 ″ created from the previous frame F n−1 from the frame memory, and converts them into the feature amount extracted when the subframe is stored. Based on this, correction processing is performed.
図７（ｄ）は、生成された２Ｋ画像が出力されるタイミングを示すクロックであり、垂直同期（Ｖ−ｓｙｎｃ）の周波数は１２０Ｈｚである。図７（ｅ）は、画像出力部４６０に入力されるフレームを示しており、図７（ｄ）のクロックの立ち上がりを契機にフレームが出力される。図７（ｅ）の例では、解像度が２ＫのフレームＦｎ−１’，Ｆｎ−１’’，Ｆｎ’，Ｆｎ’’ ，Ｆｎ＋１’，Ｆｎ＋１’’が順次出力されている。 FIG. 7D is a clock showing the timing at which the generated 2K image is output, and the vertical synchronization (V-sync) frequency is 120 Hz. FIG. 7E shows a frame input to the image output unit 460, and the frame is output when the clock rises in FIG. 7D. In the example of FIG. 7E, frames F n−1 ′, F n−1 ″, F n ′, F n ″, F n + 1 ′, and F n + 1 ″ with a resolution of 2K are sequentially output. .
図７に示した通り本実施形態では、図１３に示す動作タイミング図と異なり、画像が入力されると、補正を行う前にサブフレームを生成し、特徴抽出と同時にサブフレームをフレームメモリ４５０に記憶している。したがって、フレームメモリ４５０へのアクセス回数を減少することができ、これによって、画像の出力遅延を低減できる。 As shown in FIG. 7, in this embodiment, unlike the operation timing chart shown in FIG. 13, when an image is input, a subframe is generated before correction, and the subframe is stored in the frame memory 450 simultaneously with feature extraction. I remember it. Therefore, the number of accesses to the frame memory 450 can be reduced, thereby reducing the image output delay.
次に第２の実施形態について説明する。図８は、第２の実施形態における画像処理装置１００のソフトウェアブロック図であり、画像処理装置１００のうち、画像処理部４３０、フレームメモリ制御部４４０、フレームメモリ４５０を詳細に示したものである。なお、その他のソフトウェアブロックは適宜省略している。 Next, a second embodiment will be described. FIG. 8 is a software block diagram of the image processing apparatus 100 according to the second embodiment. The image processing unit 430, the frame memory control unit 440, and the frame memory 450 of the image processing apparatus 100 are shown in detail. . Other software blocks are omitted as appropriate.
第１の実施形態では、画像処理部４３０は、フレームごとに特徴を抽出し、かつフレームごとに画像補正をした。しかしながら、サブフレームＦｎ’と、当該サブフレームを画素ずらししたフレームであるサブフレームＦｎ’’とは相関性の高い画像であることから、両フレームデータは特徴が共通している蓋然性が高い。したがって、各フレームに対して別個に特徴抽出処理を行うと、回路規模の増大につながる。 In the first embodiment, the image processing unit 430 extracts features for each frame and performs image correction for each frame. However, the sub-frame F n is highly probable since the '' and the sub-frame F n is a frame pixel shifting the sub-frame 'are highly correlated image, both frame data have in common the feature . Therefore, if the feature extraction process is performed separately for each frame, the circuit scale increases.
そこで、第２の実施形態では、図８に示すように、特徴抽出部４３１を共通特徴抽出部４３１’とし、サブフレームＦｎ’，Ｆｎ’’に共通する特徴量を抽出する。ここで抽出した共通特徴量を画像補正部４３２に通知し、画像補正部４３２は、当該共通特徴量に基づいて、サブフレームＦｎ’，Ｆｎ’’の画像補正処理を行う。 Therefore, in the second embodiment, as shown in FIG. 8, the feature extraction unit 431 is used as a common feature extraction unit 431 ′, and feature amounts common to the subframes F n ′ and F n ″ are extracted. The extracted common feature amount is notified to the image correction unit 432, and the image correction unit 432 performs image correction processing of the subframes F n ′ and F n ″ based on the common feature amount.
このように、第２の実施形態によれば、フレームごとに特徴を抽出せず、相関性の高いフレームについては共通特徴量を抽出できることから、回路規模を削減することができる。 As described above, according to the second embodiment, since a feature is not extracted for each frame and a common feature amount can be extracted for a highly correlated frame, the circuit scale can be reduced.
ここまで、第２の実施形態について説明した。以下に説明する第３の実施形態および第４の実施形態では、入力される画像の性質に応じた処理を行う。例えば、入力画像のフレームレートが低い場合などには、画像処理のアルゴリズムによって画質が劣化する場合がある。したがって、以下の実施形態では入力された画像に適した順序で画像の補正や画素ずらしなどの各種処理を行う。 Up to this point, the second embodiment has been described. In the third and fourth embodiments described below, processing according to the properties of the input image is performed. For example, when the frame rate of the input image is low, the image quality may be degraded by an image processing algorithm. Therefore, in the following embodiments, various processes such as image correction and pixel shifting are performed in an order suitable for the input image.
第３の実施形態について説明する。例えば、画像処理装置１００に入力される画像が静止画の場合には、同じフレームデータが連続して入力されることから、各フレームの画像の特徴は変化しない。したがって、入力されたフレームごとに特徴量を抽出する処理を実行し、フレームメモリ４５０にアクセスすることは非効率である。よって、第３の実施形態では、入力画像をフレームメモリ４５０に記憶せず、最初のフレームから抽出した特徴量を用いて、入力されたフレームを逐次補正する。 A third embodiment will be described. For example, when the image input to the image processing apparatus 100 is a still image, the same frame data is continuously input, and thus the characteristics of the image of each frame do not change. Therefore, it is inefficient to execute the process of extracting the feature value for each input frame and access the frame memory 450. Therefore, in the third embodiment, the input image is not stored in the frame memory 450, and the input frame is sequentially corrected using the feature amount extracted from the first frame.
図９は、第３の実施形態における画像処理装置１００のソフトウェアブロック図である。第３の実施形態は、入力画像が静止画の場合の処理であって、画像処理部４３０には、特徴抽出部４３１、画像補正部４３２に加えて、特徴記憶部４３３が含まれる。 FIG. 9 is a software block diagram of the image processing apparatus 100 according to the third embodiment. The third embodiment is processing when the input image is a still image. The image processing unit 430 includes a feature storage unit 433 in addition to the feature extraction unit 431 and the image correction unit 432.
また、各フレームの特徴量も共通していることから、最初に入力されたフレームの特徴量のみを特徴記憶部４３３に記憶し、画像補正部４３２は、当該特徴量を読み出して画像を補正する。その後、補正された画像ごとに画素ずらしをしたサブフレームを生成する。 Since the feature values of the frames are also common, only the feature value of the first input frame is stored in the feature storage unit 433, and the image correction unit 432 reads the feature values and corrects the image. . Thereafter, a sub-frame is generated by shifting pixels for each corrected image.
第３の実施形態によれば、画像の補正時にフレームメモリ４５０にアクセスする処理を省略でき、効率的に画像を出力することができる。 According to the third embodiment, the process of accessing the frame memory 450 during image correction can be omitted, and the image can be output efficiently.
次に第４の実施形態について説明する。図１０は、第４の実施形態における画像処理装置１００のソフトウェアブロック図である。第４の実施形態では、入力画像の性質に応じて、画像補正や画素ずらしなどの処理の順序を変更するために、画像処理フロー制御部４７０を含んで構成される。なお、処理の順序は、以下に説明する方法の他、ユーザからの操作によるモード設定によって切り替えてもよい。 Next, a fourth embodiment will be described. FIG. 10 is a software block diagram of the image processing apparatus 100 according to the fourth embodiment. The fourth embodiment includes an image processing flow control unit 470 in order to change the order of processing such as image correction and pixel shifting according to the nature of the input image. Note that the order of processing may be switched by mode setting by an operation from the user in addition to the method described below.
第４の実施形態では、入力画像のフレームレートが低く、フレームメモリ４５０のバス帯域を超えない場合には、サブフレームを生成する前に画像の補正処理を行う。すなわち、画像処理フロー制御部４７０は、入力された画像のメモリ帯域に応じて画像処理の順序を変更できる。 In the fourth embodiment, when the frame rate of the input image is low and does not exceed the bus bandwidth of the frame memory 450, the image correction processing is performed before generating the subframe. That is, the image processing flow control unit 470 can change the order of image processing according to the memory bandwidth of the input image.
また、画像処理フロー制御部４７０は、フレームレートや画像サイズなどに基づいてメモリ帯域を算出するメモリ帯域判定部４７１を含んでもよい。メモリ帯域判定部４７１は、フレームレートや画像サイズに基づいて算出したメモリ帯域が、実際に使用されるメモリに応じてあらかじめ算出されたメモリ帯域を超えるか否かを判定し、画像処理の順序を変更する情報を生成する。画像処理フロー制御部４７０は、メモリ帯域判定部４７１が判定し、生成した処理の順序を示す情報に基づいて、画像処理フローを制御し、適切な順序で画像補正や画素ずらしなどの処理を実行する。 Further, the image processing flow control unit 470 may include a memory band determination unit 471 that calculates a memory band based on a frame rate, an image size, and the like. The memory bandwidth determination unit 471 determines whether the memory bandwidth calculated based on the frame rate and the image size exceeds the memory bandwidth calculated in advance according to the memory actually used, and determines the image processing order. Generate the information to be changed. The image processing flow control unit 470 controls the image processing flow based on the information indicating the processing order determined and generated by the memory bandwidth determination unit 471, and executes processing such as image correction and pixel shifting in an appropriate order. To do.
また、画像処理フロー制御部４７０は、入力された画像が静止画であるか否かを判定するフレーム間差分判定部４７２を含んでもよい。フレーム間差分判定部４７２は、経時的に連続して入力された２つの画像のフレームデータについて差分を算出し、当該画像が静止画であるか否かを判定する。すなわち、２つの画像に差分があれば動画と判定し、差分がなければ静止画と判定する。 Further, the image processing flow control unit 470 may include an inter-frame difference determination unit 472 that determines whether or not the input image is a still image. The inter-frame difference determination unit 472 calculates a difference between the frame data of two images that are continuously input over time, and determines whether or not the image is a still image. That is, if there is a difference between two images, it is determined as a moving image, and if there is no difference, it is determined as a still image.
画像処理フロー制御部４７０は、フレーム間差分判定部４７２が判定した結果に基づき、画像が静止画である場合には、第３の実施形態に示したように、前フレームの入力時に抽出された特徴量に基づいて画像補正を行った後、画素ずらしによってサブフレームを生成する順序で処理を制御する。一方で、フレーム間差分判定部４７２が判定した結果に基づき、画像が動画である場合には、画素ずらし処理をしてサブフレームを生成した後、画像の特徴抽出および補正する順序で処理を制御する。 Based on the determination result of the inter-frame difference determination unit 472, the image processing flow control unit 470 is extracted when the previous frame is input as shown in the third embodiment when the image is a still image. After performing image correction based on the feature amount, processing is controlled in the order of generating subframes by shifting pixels. On the other hand, if the image is a moving image based on the result determined by the inter-frame difference determination unit 472, pixel shift processing is performed to generate a subframe, and then processing is controlled in the order of image feature extraction and correction. To do.
以上、説明した本発明の実施形態によれば、フレーム遅延を軽減した高画質化処理を行う画像処理装置、方法およびプログラムを提供することができる。 As described above, according to the embodiments of the present invention described above, it is possible to provide an image processing apparatus, method, and program for performing high image quality processing with reduced frame delay.
なお、上述した各実施形態におけるソフトウェアブロックは、ＣＰＵが本実施形態のプログラムを実行することで、各ハードウェアを機能させることにより、実現される機能手段に相当する。また、各実施形態に示した機能手段は、全部がソフトウェア的に実現されても良いし、その一部または全部を同等の機能を提供するハードウェアとして実装することもできる。 Note that the software block in each embodiment described above corresponds to a functional unit that is realized by causing each hardware to function by causing the CPU to execute the program of this embodiment. In addition, all of the functional means shown in each embodiment may be realized by software, or a part or all of them may be implemented as hardware that provides an equivalent function.
また、上述した本発明の各実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）等で記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭ等の装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。 Each function of each embodiment of the present invention described above can be realized by a device-executable program written in C, C ++, C #, Java (registered trademark) or the like, and the program of this embodiment is a hard disk device. It can be stored in a device-readable recording medium such as a CD-ROM, MO, DVD, flexible disk, EEPROM, EPROM and distributed, and can be transmitted via a network in a format that can be used by other devices.
以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。したがって、説明した各実施形態を組み合わせた場合であっても、本発明の範囲に含まれる。 As described above, the present invention has been described with the embodiment. However, the present invention is not limited to the above-described embodiment, and as long as the operations and effects of the present invention are exhibited within the scope of embodiments that can be considered by those skilled in the art. It is included in the scope of the present invention. Therefore, even when the embodiments described above are combined, they are included in the scope of the present invention.
１００…画像処理装置、１０１…ＣＰＵ、１０２…ＲＡＭ、１０３…ＲＯＭ、１０４…記憶装置、１０５…画像入力Ｉ／Ｆ、１０６…画像出力装置、２０１…照明光源、２０２…レンズ、２０３…ＤＭＤ素子、２０４…画素ずらし手段、２０５…投射レンズ、２０６…スクリーン、４１０…画像入力部、４２０…サブフレーム生成部、４３０…画像処理部、４３１…特徴抽出部、４３２…画像補正部、４３３…特徴記憶部、４４０…フレームメモリ制御部、４５０…フレームメモリ、４６０…画像出力部、４７０…画像処理フロー制御部、４７１…メモリ帯域判定部、４７２…フレーム間画像差分判定部 DESCRIPTION OF SYMBOLS 100 ... Image processing apparatus, 101 ... CPU, 102 ... RAM, 103 ... ROM, 104 ... Memory | storage device, 105 ... Image input I / F, 106 ... Image output apparatus, 201 ... Illumination light source, 202 ... Lens, 203 ... DMD element , 204 ... Pixel shifting means, 205 ... Projection lens, 206 ... Screen, 410 ... Image input section, 420 ... Subframe generation section, 430 ... Image processing section, 431 ... Feature extraction section, 432 ... Image correction section, 433 ... Features Storage unit, 440 ... Frame memory control unit, 450 ... Frame memory, 460 ... Image output unit, 470 ... Image processing flow control unit, 471 ... Memory band determination unit, 472 ... Interframe image difference determination unit
Claims (8)
入力画像の解像度を変換した第１のサブフレームを生成し、さらに当該第１のサブフレームを画素ずらしした第２のサブフレームを生成する、生成手段と、
前記第１のサブフレームおよび前記第２のサブフレームの特徴量を抽出するともに、当該第１のサブフレームおよび当該第２のサブフレームをフレームメモリに記憶する、特徴抽出手段と、
前記第１のサブフレームおよび前記第２のサブフレームを前記フレームメモリから読み出して、前記特徴量に基づいて補正する、画像補正手段と、
前記補正された前記第１のサブフレームおよび前記第２のサブフレームを投影装置に出力する、画像出力手段と
を含む、画像処理装置。 An apparatus for displaying an image obtained by correcting an input image,
Generating means for generating a first subframe in which the resolution of the input image is converted, and generating a second subframe in which the first subframe is shifted in pixels;
Feature extraction means for extracting feature quantities of the first subframe and the second subframe, and storing the first subframe and the second subframe in a frame memory;
Image correction means for reading out the first subframe and the second subframe from the frame memory and correcting based on the feature amount;
And an image output unit that outputs the corrected first subframe and the second subframe to a projection device.
請求項１に記載の画像処理装置。 The feature amount is a common feature amount extracted from the first subframe whose resolution has been converted, and is corrected based on the common feature amount.
The image processing apparatus according to claim 1.
請求項１または２に記載の画像処理装置。 When the input image is a still image, correction is performed based on the feature amount of the first subframe generated first,
The image processing apparatus according to claim 1.
入力画像の解像度を変換した第１のサブフレームを生成し、さらに当該第１のサブフレームを画素ずらしした第２のサブフレームを生成するステップと、
前記第１のサブフレームおよび前記第２のサブフレームの特徴量を抽出するともに、当該第１のサブフレームおよび当該第２のサブフレームをフレームメモリに記憶するステップと、
前記第１のサブフレームおよび前記第２のサブフレームを前記フレームメモリから読み出して、前記特徴量に基づいて補正するステップと、
前記補正された前記第１のサブフレームおよび前記第２のサブフレームを投影装置に出力するステップと
を含む、方法。 A method for displaying an image obtained by correcting an input image,
Generating a first subframe in which the resolution of the input image is converted, and further generating a second subframe in which the first subframe is shifted in pixels;
Extracting feature quantities of the first subframe and the second subframe, and storing the first subframe and the second subframe in a frame memory; and
Reading the first subframe and the second subframe from the frame memory and correcting based on the feature amount;
Outputting the corrected first subframe and the second subframe to a projection device.
入力画像の解像度を変換した第１のサブフレームを生成し、さらに当該第１のサブフレームを画素ずらしした第２のサブフレームを生成する、生成手段、
前記第１のサブフレームおよび前記第２のサブフレームの特徴量を抽出するともに、当該第１のサブフレームおよび当該第２のサブフレームをフレームメモリに記憶する、特徴抽出手段、
前記第１のサブフレームおよび前記第２のサブフレームを前記フレームメモリから読み出して、前記特徴量に基づいて補正する、画像補正手段、
前記補正された前記第１のサブフレームおよび前記第２のサブフレームを投影装置に出力する、画像出力手段
として機能させる、装置実行可能なプログラム。
A program executed by a device that displays an image obtained by correcting an input image, the device being
Generating means for generating a first subframe obtained by converting the resolution of the input image, and further generating a second subframe obtained by shifting the pixels of the first subframe;
Feature extraction means for extracting feature quantities of the first subframe and the second subframe and storing the first subframe and the second subframe in a frame memory;
Image correction means for reading out the first subframe and the second subframe from the frame memory and correcting the first subframe and the second subframe based on the feature amount;
An apparatus-executable program that functions as an image output unit that outputs the corrected first subframe and the second subframe to a projection apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017102306A JP2018197799A (en) | 2017-05-24 | 2017-05-24 | Image processing apparatus, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017102306A JP2018197799A (en) | 2017-05-24 | 2017-05-24 | Image processing apparatus, method, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018197799A true JP2018197799A (en) | 2018-12-13 |
Family
ID=64663609
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017102306A Pending JP2018197799A (en) | 2017-05-24 | 2017-05-24 | Image processing apparatus, method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018197799A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023048010A1 (en) * | 2021-09-27 | 2023-03-30 | 株式会社Ｊｖｃケンウッド | Display device and display method |
-
2017
- 2017-05-24 JP JP2017102306A patent/JP2018197799A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023048010A1 (en) * | 2021-09-27 | 2023-03-30 | 株式会社Ｊｖｃケンウッド | Display device and display method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6155717B2 (en) | Image processing apparatus, projector, and image processing method | |
| JP5348022B2 (en) | Projector and projection conversion processing apparatus | |
| WO2016043161A1 (en) | Display device, display system, and display control program | |
| JP2015097350A (en) | Image processing apparatus and multi-projection system | |
| JP2007150531A (en) | Image processing apparatus and image processing method | |
| US11069038B2 (en) | Information processing apparatus, information processing method, and image display apparatus | |
| JP7331465B2 (en) | Display device control method and display device | |
| WO2008020506A1 (en) | Image display control device, image display method, and information storage medium | |
| JP5116740B2 (en) | Image processing apparatus, image processing method, and image display apparatus | |
| US10652507B2 (en) | Display system, image processing apparatus, and display method | |
| US10657622B2 (en) | Controlling projected image frame rate in response to determined projection surface curvature | |
| JP2014187460A (en) | Image processing device, projector, and image processing method | |
| JP2018197799A (en) | Image processing apparatus, method, and program | |
| JP2019193144A (en) | Projection device and control method of the same | |
| JP2017220810A (en) | Image processing device, method, and program | |
| CN114449233B (en) | Projection device and trapezoid correction method thereof | |
| JP2011097629A (en) | Apparatus and method for processing image | |
| JP5047700B2 (en) | Image display apparatus, image processing method, and program | |
| JP2011141341A (en) | Image signal distribution apparatus and control method thereof, and program | |
| US11114001B2 (en) | Image processing device, method of controlling image processing device, and display device | |
| JP5141871B2 (en) | Image processing method and image display apparatus | |
| JP5353772B2 (en) | projector | |
| JP4428624B2 (en) | Image display system | |
| KR20170094943A (en) | Apparatus and method for blending detail correction of multi-projection image | |
| US20180268524A1 (en) | Image processing apparatus and method of controlling the same |