JP4714062B2 - Image enlarging apparatus for generating a high resolution image, image enlarging method thereof, and recording medium recording the image enlarging program - Google Patents

Image enlarging apparatus for generating a high resolution image, image enlarging method thereof, and recording medium recording the image enlarging program Download PDF

Info

Publication number
JP4714062B2
JP4714062B2 JP2006094357A JP2006094357A JP4714062B2 JP 4714062 B2 JP4714062 B2 JP 4714062B2 JP 2006094357 A JP2006094357 A JP 2006094357A JP 2006094357 A JP2006094357 A JP 2006094357A JP 4714062 B2 JP4714062 B2 JP 4714062B2
Authority
JP
Japan
Prior art keywords
image
low
resolution
resolution image
conditional expression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006094357A
Other languages
Japanese (ja)
Other versions
JP2007272334A (en
Inventor
賢造 五十川
孝 井田
敏充 金子
信幸 松本
雄志 三田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006094357A priority Critical patent/JP4714062B2/en
Publication of JP2007272334A publication Critical patent/JP2007272334A/en
Application granted granted Critical
Publication of JP4714062B2 publication Critical patent/JP4714062B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Circuits (AREA)

Description

本発明は、例えばデジタルカメラで撮像された動画像や録画済の動画像コンテンツ等の、同一被写体を撮像した低解像度のデジタル画像複数枚の組み合わせから、ボケやエリアシングの影響のない高解像度のデジタル画像を生成する技術に関する。   The present invention is a combination of a plurality of low-resolution digital images obtained by capturing the same subject, such as moving images captured by a digital camera and recorded moving image content, and has a high resolution that is not affected by blurring or aliasing. The present invention relates to a technique for generating a digital image.

一般に、テレビジョン等の表示画面におけるＳＤサイズからＨＤサイズへの変換に伴い、又はデジタルカメラにより撮像されたデジタル画像をデジタルズーム表示する等、デジタル画像を撮像された解像度よりも高い解像度を持つ表示デバイスに表示させるために、画像を拡大する技術の需要がある。公知な画像を拡大する手法として、線形内挿法などの補間方法が用いられている。しかし、これらの補間方法には、出力される高解像度画像にボケやエリアシングが発生するという問題が発生している。そこで、同一被写体を撮影した複数枚の低解像度画像と撮像過程のモデルを用いて、ボケやエリアシングの無い高解像度画像を生成する手法が幾つか提案されている。   In general, a display device having a resolution higher than the resolution at which the digital image was captured, such as a digital zoom display of a digital image captured by a digital camera, in accordance with conversion from an SD size to an HD size on a display screen of a television or the like Therefore, there is a demand for a technique for enlarging an image for display. As a known method for enlarging an image, an interpolation method such as a linear interpolation method is used. However, these interpolation methods have a problem that blur and aliasing occur in the output high-resolution image. Thus, several methods have been proposed for generating a high-resolution image without blurring or aliasing using a plurality of low-resolution images obtained by photographing the same subject and an imaging process model.

このような手法の一つとして、例えば、非特許文献１には、低解像度画像のうちの一枚（基準画像）を線形内挿などで拡大して、出力高解像度画像と同じ解像度を持つ初期画像を生成し、その初期画像を修正して出力高解像度画像を得る手法が提案されている。出力高解像度画像が入力された複数枚の低解像度画像及び撮像過程のモデルと矛盾しないために必要な条件は、デジタルカメラ等の撮像装置の点広がり関数などのパラメータや動きベクトルを用いて、条件式の形で得ることができる。   As one of such techniques, for example, in Non-Patent Document 1, an initial image having the same resolution as the output high-resolution image is obtained by enlarging one of the low-resolution images (reference image) by linear interpolation or the like. There has been proposed a method of generating an image and correcting the initial image to obtain an output high resolution image. The conditions necessary to be consistent with the multiple low-resolution images and the imaging process model in which the output high-resolution image is input are based on parameters such as the point spread function of an imaging device such as a digital camera and motion vectors. It can be obtained in the form of a formula.

また、デジタル画像の画素値は一定のダイナミックレンジの範囲内とする等、画像に関する事前知識も条件式として導入されることがある。非特許文献１の手法では、ＰＯＣＳ（Projection Onto Convex Sets）を用いて、前述した全ての条件式を満たすように初期画像を修正する。具体的には、複数の条件式の中から一つを選び、その条件式を満たすように初期画像を修正するという操作を複数の条件式それぞれに対して逐次的に行う。このような修正処理により、初期画像を複数の条件式の共通の解に近づけることができ、複数枚の低解像度画像及び撮像過程のモデルと矛盾しない出力高解像度画像を得ることができる。
A. M. TEKALP, M. K. OZKAN, and M. I. SEZAN, "HIGH-RESOLUTION IMAGE RECONSTRUCTION FROM LOWER-RESOLUTION IMAGE SEQUENCES AND SPACE-VARYING IMAGE RESTORATION," IEEE International Conference on Acoustics Speech and Signal Processing, 1992. P. E. Eren, M. I. Sezan, and A. M. Tekalp, "Robust, Object-Based High-Resolution Image Reconstruction from Low-Resolution Video," IEEE Transactions on Image Processing, vol. 6, pp. 1446--1451, 1997. In addition, prior knowledge about an image may be introduced as a conditional expression such that the pixel value of a digital image is within a certain dynamic range. In the method of Non-Patent Document 1, the initial image is corrected so as to satisfy all the conditional expressions described above using POCS (Projection Onto Convex Sets). Specifically, an operation of selecting one from a plurality of conditional expressions and correcting the initial image so as to satisfy the conditional expression is sequentially performed on each of the plurality of conditional expressions. By such correction processing, the initial image can be brought close to a common solution of a plurality of conditional expressions, and a plurality of low-resolution images and an output high-resolution image consistent with the imaging process model can be obtained.
AM TEKALP, MK OZKAN, and MI SEZAN, "HIGH-RESOLUTION IMAGE RECONSTRUCTION FROM LOWER-RESOLUTION IMAGE SEQUENCES AND SPACE-VARYING IMAGE RESTORATION," IEEE International Conference on Acoustics Speech and Signal Processing, 1992. PE Eren, MI Sezan, and AM Tekalp, "Robust, Object-Based High-Resolution Image Reconstruction from Low-Resolution Video," IEEE Transactions on Image Processing, vol. 6, pp. 1446--1451, 1997.

前述した非特許文献１の手法は、ＰＯＣＳを用いて、条件式を満たすように初期画像を修正する技術である。しかし、条件式を得るために用いたパラメータが大きな誤差を含んでいる若しくは、利用した事前知識が実際の画像に合致していない場合には、それらから算出された条件式に従うように初期画像を修正すると、出力高解像度画像上にノイズ（アーチファクト）が発生する虞がある。   The technique of Non-Patent Document 1 described above is a technique for correcting an initial image so as to satisfy a conditional expression using POCS. However, if the parameters used to obtain the conditional expression contain a large error, or if the prior knowledge used does not match the actual image, the initial image is set to follow the conditional expression calculated from them. If corrected, there is a possibility that noise (artifact) may occur on the output high-resolution image.

また、このノイズを解決するものとして、例えば、非特許文献２には、アーチファクトを抑えるため、動きベクトルの中から誤差の大きいものを排除する手法が提案されている。具体的には、まず、被写体の色が入力された複数枚の低解像度画像全てにおいて変化しないものと仮定する。次に、動きベクトルによって対応付けられた複数の低解像度画像の２つの画素の画素値の差が閾値以上の動きベクトルから得られた条件式は、初期画像の修正には用いないという手法である。このような手法によって、極端に誤差の大きいパラメータから得られた条件式は、修正に用いないように排除することができるが、誤差の全く無い条件式のみを残すことは難しい。   Further, as a technique for solving this noise, for example, Non-Patent Document 2 proposes a method of eliminating a motion vector having a large error in order to suppress artifacts. Specifically, first, it is assumed that the color of the subject does not change in all the plurality of low-resolution images input. Next, a conditional expression obtained from a motion vector whose pixel value difference between two pixels of a plurality of low-resolution images associated by a motion vector is equal to or greater than a threshold is not used for correcting the initial image. . With such a method, conditional expressions obtained from parameters with extremely large errors can be excluded so as not to be used for correction, but it is difficult to leave only conditional expressions having no errors.

さらに、単純には十分小さい誤差を持つパラメータから得られた条件式による初期画像の修正の後に、大きな誤差を持つパラメータから得られた条件式による初期画像の修正を行うと、出力高解像度画像の画質は、その逆の順で行った場合より低下する。このようにＰＯＣＳで得られる出力高解像度画像は条件式の選択順序によって変化するが、画質を高めるための条件式の選択順序の最適化方法は提案されていなかった。このように、従来提案されている技術には画質を高めるための条件式の選択順序の最適化がなされていないという問題があった。   Furthermore, if the initial image is corrected by the conditional expression obtained from the parameter having a large error after the initial image is corrected by the conditional expression obtained from the parameter having a sufficiently small error, the output high-resolution image The image quality is lower than that in the reverse order. As described above, the output high-resolution image obtained by POCS varies depending on the selection order of conditional expressions, but a method for optimizing the selection order of conditional expressions for improving image quality has not been proposed. As described above, the conventionally proposed technique has a problem that the selection order of the conditional expressions for improving the image quality is not optimized.

本発明は、上記従来技術の問題点を解決するためになされたものであって、条件式を求める際のパラメータに信頼度を付与し、それに従って条件式を順序付けを最適化することより、出力高解像度画像上のアーチファクトを抑制し画質を高めることを可能とする画像拡大装置を提供することを目的とする。   The present invention has been made in order to solve the above-described problems of the prior art, and adds reliability to parameters when obtaining conditional expressions, and optimizes the ordering of conditional expressions accordingly, thereby providing an output. An object of the present invention is to provide an image enlargement apparatus that can suppress artifacts on a high-resolution image and improve image quality.

本発明は、予め設定された複数の条件式のそれぞれの信頼度を順序付けて、信頼度の低い条件式による修正から信頼度の高い条件式による修正に至ることにより、高解像度化の画像修正の効果より高める画像拡大装置、その画像拡大方法及びその画像拡大プログラムを記録した記録媒体を提供する。   In the present invention, the reliability of each of a plurality of preset conditional expressions is ordered, and from the correction by the conditional expression with low reliability to the correction by the conditional expression with high reliability, the image correction with high resolution can be performed. An image enlarging apparatus that enhances the effect, an image enlarging method thereof, and a recording medium recording the image enlarging program are provided.

本発明の画像拡大装置は、複数枚の低解像度画像から前記低解像度画像よりも高い解像度を有する少なくとも１枚の出力高解像度画像を生成する画像拡大装置であって、前記複数枚の低解像度画像を取得する画像入力部と、前記低解像度画像と撮像過程のモデルと前記出力高解像度画像との間に矛盾が生じないために必要な複数の条件式を求める条件式算出部と、前記複数の条件式のそれぞれに数値で表される信頼度を付与し、高い信頼度が付与された該条件式を順序の後方から配置するように順序付けする順序設定部と、前記低解像度画像から初期画像を生成し、前記順序付けに従い、前記条件式を満たすように前記初期画像を順次修正して出力高解像度画像を生成する出力画像生成部とを備える。   The image enlarging apparatus of the present invention is an image enlarging apparatus that generates at least one output high-resolution image having a higher resolution than the low-resolution image from a plurality of low-resolution images, the plurality of low-resolution images An image input unit for obtaining a plurality of conditional expressions required to prevent a contradiction between the low resolution image, the imaging process model, and the output high resolution image, and the plurality of conditional expressions An order setting unit that assigns a reliability expressed by a numerical value to each of the conditional expressions and orders the conditional expressions to which the high reliability is provided from the rear of the order, and an initial image from the low resolution image An output image generation unit that generates and generates an output high-resolution image by sequentially modifying the initial image so as to satisfy the conditional expression according to the ordering.

さらに、複数枚の低解像度画像から前記低解像度画像よりも高い解像度を有する少なくとも１枚の出力高解像度画像を生成する画像拡大方法であって、前記複数枚の低解像度画像を取得し、取得した前記低解像度画像と、撮像過程のモデルと前記出力高解像度画像との間に矛盾が生じないために必要な複数の条件式を算出し、前記複数の条件式のそれぞれに数値で表される信頼度を付与し、高い信頼度が付与された該条件式を順序の後方から配置するように順序付けを行い、前記低解像度画像から初期画像を生成し、前記順序付けに従い、前記条件式を満たすように前記初期画像を順次修正して出力高解像度画像を生成する画像拡大方法を提供する。   Further, an image enlargement method for generating at least one output high-resolution image having a higher resolution than the low-resolution image from a plurality of low-resolution images, wherein the plurality of low-resolution images are acquired and acquired A plurality of conditional expressions necessary to prevent a contradiction between the low-resolution image, the imaging process model, and the output high-resolution image are calculated, and each of the plurality of conditional expressions is represented by a numerical value. Ordering is performed so that the conditional expression to which the high reliability is given is arranged from the rear of the order, an initial image is generated from the low-resolution image, and the conditional expression is satisfied according to the ordering Provided is an image enlargement method for generating an output high-resolution image by sequentially modifying the initial image.

また、複数枚の低解像度画像から前記低解像度画像よりも高い解像度を有する少なくとも１枚の出力高解像度画像を生成する画像拡大方法の手順を記録する記録媒体であって、前記複数枚の低解像度画像を取得する第１の手順と、取得した前記低解像度画像と、撮像過程のモデルと前記出力高解像度画像との間に矛盾が生じないために必要な複数の条件式を算出する手順と、前記複数の条件式のそれぞれに数値で表される信頼度を付与し、高い信頼度が付与された該条件式を順序の後方から配置するように順序付けを行う手順と、前記低解像度画像から初期画像を生成し、前記順序付けに従い、前記条件式を満たすように前記初期画像を順次修正して出力高解像度画像を生成する手順とをプログラムとして記録する記録媒体を提供する。   A recording medium for recording a procedure of an image enlargement method for generating at least one output high-resolution image having a higher resolution than the low-resolution image from a plurality of low-resolution images, wherein the plurality of low-resolution images A first procedure for acquiring an image, a procedure for calculating a plurality of conditional expressions necessary to prevent inconsistency between the acquired low-resolution image, a model of an imaging process, and the output high-resolution image; Providing a reliability represented by a numerical value to each of the plurality of conditional expressions, and performing an ordering so that the conditional expressions provided with a high reliability are arranged from the rear of the order, and starting from the low-resolution image There is provided a recording medium for generating a program and recording a procedure for generating an output high-resolution image by sequentially modifying the initial image so as to satisfy the conditional expression according to the ordering.

本発明の画像拡大装置及びその画像拡大方法によれば、誤差の大きい動きベクトルから得られた条件式によって生成されたアーチファクトを誤差の小さい動きベクトルから得られた条件式による修正で抑制し、出力高解像度画像の画質を高めることが可能になる。本発明の画像拡大方法を記録する記録媒体により、汎用のコンピュータ装置に画像拡大プログラムをインストールして駐在又は適宜記憶させて、画像拡大を実施することができる。   According to the image enlarging apparatus and the image enlarging method of the present invention, an artifact generated by a conditional expression obtained from a motion vector having a large error is suppressed by correction by a conditional expression obtained from a motion vector having a small error, and output. It becomes possible to improve the image quality of high-resolution images. With the recording medium for recording the image enlarging method of the present invention, the image enlarging program can be installed in a general-purpose computer apparatus and stationed or stored as appropriate to perform image enlarging.

図面を参照して本発明の実施形態について詳細に説明する。
図１は、本発明の一実施形態に係わる画像拡大装置の概念的な構成を示すブロック図である。図３（ａ）は、本実施形態の画像拡大装置を撮像デバイスに組み込んだ構成例を示し、図３（ｂ）は、本実施形態の画像拡大装置を表示装置に組み込んだ構成例を示す図である。尚、本実施形態も含め以下の各実施形態を説明するにあたり、理解しやすくするために、画像は全てグレースケールとする。別の色空間を用いる場合は、例えば輝度と色差、ＲＧＢなど個別の色成分ごとに処理を行えばよい。また、計算量の軽減のため、輝度成分を本手法で拡大し、残りの色成分は線形補間等の計算量の少ない手法で処理しても良い。 Embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a block diagram showing a conceptual configuration of an image enlargement apparatus according to an embodiment of the present invention. FIG. 3A shows a configuration example in which the image enlargement apparatus of the present embodiment is incorporated in an imaging device, and FIG. 3B shows a configuration example in which the image enlargement apparatus of the present embodiment is incorporated in a display device. It is. In the following description of each embodiment including this embodiment, all the images are assumed to be in gray scale for easy understanding. When another color space is used, for example, processing may be performed for each individual color component such as luminance, color difference, and RGB. Further, in order to reduce the calculation amount, the luminance component may be enlarged by this method, and the remaining color components may be processed by a method having a small calculation amount such as linear interpolation.

本実施形態の画像拡大装置１０は、画像入力部１と、条件式算出部２と、順序設定部３と、出力画像生成部４とで構成される。
図３（ａ）に示すように、本実施形態の画像拡大装置１０は、デジタルビデオカメラ等の撮像装置から出力される低解像度画像に対応することができる。そのシステム構成は、カメラ等の撮像装置１１から得られるフレーム画像（低解像度画像）を本実施形態の画像拡大装置１０に入力し、その出力（出力高解像度画像）をハードディスク（ＨＤＤ）やディジタルビデオディスク（ＤＶＤ）等の記録媒体１３に記録させる、若しくは、その出力を液晶ディスプレイ等の表示装置（又は、提示装置）１４に表示させる。 The image enlargement apparatus 10 according to the present embodiment includes an image input unit 1, a conditional expression calculation unit 2, an order setting unit 3, and an output image generation unit 4.
As shown in FIG. 3A, the image enlarging apparatus 10 of this embodiment can cope with a low resolution image output from an imaging apparatus such as a digital video camera. The system configuration is such that a frame image (low-resolution image) obtained from an imaging device 11 such as a camera is input to the image enlarging device 10 of this embodiment, and its output (output high-resolution image) is input to a hard disk (HDD) or digital video. Recording is performed on a recording medium 13 such as a disc (DVD), or the output is displayed on a display device (or presentation device) 14 such as a liquid crystal display.

他にも図３（ｂ）に示すように、本実施形態の画像拡大装置１０は、撮像装置以外の入力機器又は画像データが記録された記録媒体から出力されるフレーム画像（低解像度画像）に対応することができる。そのシステムとしては、例えば、テレビジョンやＨＤＤレコーダー等の機器に適用できる。その構成は、外部撮像装置１５で得られた映像を放送波を通じて受信するチューナー１６から出力されたフレーム画像（低解像度画像）又は、既に画像が記録されるＤＶＤ等の記録媒体１７から読み出されたフレーム画像（低解像度画像）を、本発明の画像拡大装置１０に入力し、拡大した出力（出力高解像度画像）をディスプレイ１９や記録装置内に設けられた又は着脱自在に装着された他の記録媒体２０に出力される。   In addition, as shown in FIG. 3B, the image enlarging apparatus 10 of the present embodiment generates a frame image (low resolution image) output from an input device other than the imaging apparatus or a recording medium on which image data is recorded. Can respond. The system can be applied to devices such as a television and an HDD recorder, for example. The configuration is read from a frame image (low-resolution image) output from a tuner 16 that receives a video obtained by the external imaging device 15 through a broadcast wave, or from a recording medium 17 such as a DVD on which an image is already recorded. The frame image (low-resolution image) is input to the image enlarging apparatus 10 of the present invention, and the enlarged output (output high-resolution image) is provided in the display 19 or the recording apparatus or other detachably mounted. It is output to the recording medium 20.

次に図１及び図２を参照して、本発明の実施形態に係わる画像拡大装置の動作について説明する。尚、図２は本発明の実施形態に係わる画像拡大装置の動作を説明するためのフローチャートである。   Next, the operation of the image enlargement apparatus according to the embodiment of the present invention will be described with reference to FIGS. FIG. 2 is a flowchart for explaining the operation of the image enlargement apparatus according to the embodiment of the present invention.

まず、画像入力部１は予め定めた枚数の低解像度画像を、条件式算出部２と、順序設定部３に出力する（ステップＳ１）。ここでは、高解像度化される低解像度画像は、例えば連続する４フレームの画像とする。出力された低解像度画像の枚数は、例えば画像を縦横２倍に拡大するならば少なくとも４枚とするなど、低解像度画像の画素数の総和（又は画素数による画面面積）が出力高解像度画像の画素数（又は画素数による画面面積）以上となる枚数とすることが望ましい。さらに、既存のシーン検出などのアルゴリズムを用い、出力される低解像度画像全てに同一の被写体や背景が映っているような低解像度画像を選ぶことが望ましい。   First, the image input unit 1 outputs a predetermined number of low-resolution images to the conditional expression calculation unit 2 and the order setting unit 3 (step S1). Here, the low-resolution image whose resolution is increased is, for example, an image of four consecutive frames. The total number of pixels of the low-resolution image (or the screen area depending on the number of pixels) is, for example, at least four if the image is enlarged two times vertically and horizontally. It is desirable that the number of pixels be equal to or greater than the number of pixels (or screen area depending on the number of pixels). Furthermore, it is desirable to use an existing algorithm such as scene detection to select a low-resolution image in which the same subject and background are reflected in all output low-resolution images.

次に条件式算出部２は入力された低解像度画像から、後段の出力画像生成部４でＰＯＣＳによる出力高解像度画像の生成に用いられる条件式を求める（ステップＳ２）。   Next, the conditional expression calculation unit 2 obtains a conditional expression used for generation of an output high resolution image by POCS in the output image generation unit 4 at the subsequent stage from the input low resolution image (step S2).

ここで、条件式算出部２について説明する。
図４には、条件式算出部２の構成を示す。この条件式算出部２は、基準画像選定部２１、フレーム間対応点検出部２２、マッピング検出部２３及び条件式算出部２４により構成される。この構成において、基準画像選定部２１は、入力された複数枚の低解像度画像から１枚を選択し、動きベクトルの基準とする画像（基準画像）とする。フレーム間対応点検出部２２は、動きベクトルを用いて低解像度画像上の各点と基準画像上の点の対応付け（フレーム間対応点）を求める。 Here, the conditional expression calculation unit 2 will be described.
FIG. 4 shows the configuration of the conditional expression calculation unit 2. The conditional expression calculation unit 2 includes a reference image selection unit 21, an interframe corresponding point detection unit 22, a mapping detection unit 23, and a conditional expression calculation unit 24. In this configuration, the reference image selection unit 21 selects one image from a plurality of input low-resolution images and sets it as an image (reference image) that serves as a motion vector reference. The inter-frame corresponding point detection unit 22 obtains an association (inter-frame corresponding point) between each point on the low-resolution image and a point on the reference image using the motion vector.

さらにマッピング検出部２３は、フレーム間対応点検出部２２で得られたフレーム間対応点と撮像装置１１若しくは、外部撮像装置１５の点広がり関数とユーザーが与える拡大率から、低解像度画像の各画素と出力高解像度画像の部分領域の対応付け（マッピング）を求める。条件式算出部２４は、マッピング検出部２３で得られたマッピングから、後段の出力画像生成部４で用いられる条件式を出力する。
このような構成における各構成部の動作について詳しく説明する。
基準画像選定部２１は例えば、５枚の連続して撮像された低解像度画像p1〜p5が入力された場合には、その中間の時刻に相当する低解像度画像p3を選ぶ。但し、ユーザーが特定の時刻に得られた画像を拡大したい場合は、その時刻に得られたフレーム画像を基準画像とすればよい。 Further, the mapping detection unit 23 calculates each pixel of the low-resolution image from the inter-frame corresponding point obtained by the inter-frame corresponding point detection unit 22, the point spread function of the imaging device 11 or the external imaging device 15, and the enlargement ratio given by the user. And mapping (mapping) of partial areas of the output high resolution image. The conditional expression calculation unit 24 outputs a conditional expression used in the output image generation unit 4 at the subsequent stage from the mapping obtained by the mapping detection unit 23.
The operation of each component in such a configuration will be described in detail.
For example, when five consecutively captured low resolution images p1 to p5 are input, the reference image selection unit 21 selects a low resolution image p3 corresponding to an intermediate time. However, if the user wants to enlarge an image obtained at a specific time, the frame image obtained at that time may be used as the reference image.

次に、フレーム間対応点検出部２２の動作について説明する。
フレーム間対応点検出部２２では、基準画像と、他の１枚の低解像度画像との間の動きベクトルを用いて、基準画像以外の低解像度画像の各画素を基準画像上の１点に対応付ける。例えば、図５（ａ）には、低解像度画像３１における画素３３を示し、図５（ｂ）には、基準画像３２の画素３４に対して、横方向に０．５ピクセル（pixel）の動きベクトルの差を持つ低解像度画像３１の各画素３３を基準画像３２上に対応付けて配置した位置関係を示している。 Next, the operation of the interframe corresponding point detection unit 22 will be described.
The inter-frame corresponding point detection unit 22 uses a motion vector between the reference image and another low-resolution image to associate each pixel of the low-resolution image other than the reference image with one point on the reference image. . For example, FIG. 5A shows a pixel 33 in the low-resolution image 31, and FIG. 5B shows a movement of 0.5 pixel in the horizontal direction with respect to the pixel 34 in the reference image 32. A positional relationship is shown in which each pixel 33 of the low-resolution image 31 having a vector difference is arranged in association with the reference image 32.

次にマッピング検出部２３の動作について説明する。
マッピング検出部２３において、まず、全低解像度画像の全画素毎に出力高解像度画像上の１点にそれぞれ対応付ける。ここで、図６（ａ）を基準画像として、図６（ｂ）には、基準画像を縦横２倍に拡大した拡大画像における画素の対応付けの一例を示す。 Next, the operation of the mapping detection unit 23 will be described.
In the mapping detection unit 23, first, every point of the entire low resolution image is associated with one point on the output high resolution image. Here, FIG. 6A is a reference image, and FIG. 6B shows an example of pixel correspondence in an enlarged image obtained by enlarging the reference image twice vertically and horizontally.

基準画像４１の画素４３は、出力高解像度画像４２上で画面左上端からの相対位置が同じである点４４に対応付けられる。基準画像以外の画像の各画素も基準画像上の点に対応付けられているため、画素４３と同様に出力高解像度画像上のいずれかの点として対応付けることができる。   The pixel 43 of the reference image 41 is associated with a point 44 having the same relative position from the upper left corner of the screen on the output high resolution image 42. Since each pixel of the image other than the reference image is also associated with a point on the reference image, it can be associated with any point on the output high-resolution image in the same manner as the pixel 43.

次に対応付けた点を中心とした部分領域４５を設定する。部分領域４５の形状は拡大率を考慮して決定する、例えば拡大率が縦横２倍の場合は、各辺の長さが２ピクセルの正方形となる。図６（ａ）の低解像度画像上の画素４３であれば、図６（ｂ）に示す出力高解像度画像上の部分領域４５が対応付けられる。   Next, a partial region 45 centered on the associated point is set. The shape of the partial region 45 is determined in consideration of the enlargement ratio. For example, when the enlargement ratio is double in length and width, the length of each side is a square of 2 pixels. If the pixel 43 is on the low-resolution image in FIG. 6A, the partial area 45 on the output high-resolution image shown in FIG.

また前述した撮像装置１１若しくは外部撮像装置１５の点広がり関数が既知であれば、そのパラメータに応じて部分領域のサイズをさらに拡大させることが望ましい。例えば、拡大率が縦横２倍で前記撮像装置１１若しくは外部撮像装置１５の点広がり関数が標準偏差σのガウス関数であった場合、部分領域のサイズを縦横２（１＋３σ）ピクセルにするというように、標準偏差を考慮することも可能である。   If the point spread function of the imaging device 11 or the external imaging device 15 described above is known, it is desirable to further increase the size of the partial region according to the parameter. For example, when the enlargement ratio is twice in the vertical and horizontal directions and the point spread function of the image pickup device 11 or the external image pickup device 15 is a Gaussian function with a standard deviation σ, the size of the partial region is set to 2 (1 + 3σ) pixels in the vertical and horizontal directions. It is also possible to take into account the standard deviation.

また、前記撮像装置１１若しくは外部撮像装置１５の点広がり関数が既知で無い場合、ユーザーが任意の点広がり関数を仮定することも可能である。例えば、点広がり関数に対してガウス関数を仮定し、その分散を変えていくつかのサンプル映像を拡大し、主観評価の結果が最も良好であったものを採用する等の方法がある。   In addition, when the point spread function of the image pickup device 11 or the external image pickup device 15 is not known, the user can assume an arbitrary point spread function. For example, there is a method in which a Gaussian function is assumed for the point spread function, a variance of the variance is used to enlarge some sample images, and the one with the best subjective evaluation result is adopted.

次に、条件式算出部２４の動作について説明する。
以後の説明において、出力高解像度画像を画素値を一列に並べた列ベクトル Next, the operation of the conditional expression calculation unit 24 will be described.
In the following description, a column vector in which output high-resolution images are arranged in a column of pixel values

Figure 0004714062
Figure 0004714062

として表す。また、出力高解像度画像の画素数をｉmaxと表記する。低解像度画像は、各画像の画素を並べたベクトルを連結した列ベクトルｙで表す。またｙの要素数すなわち低解像度画像の画素の合計数をｊmaxと表記する。ｘとｙの関係は、 Represent as Further, the number of pixels of the output high resolution image is expressed as imax. The low resolution image is represented by a column vector y obtained by connecting vectors in which pixels of each image are arranged. The number of elements of y, that is, the total number of pixels of the low-resolution image is expressed as jmax. The relationship between x and y is

Figure 0004714062
Figure 0004714062

の形の条件式（１）で記述できる。ｗij の値は、マッピング検出部２３でｘiがｙjに対応付けられていなければ、“０”とする。これ以外の場合は、マッピング検出部２３で対応付けられた領域内におけるｗijの値は、全て等しく且つ、ｗijの総和が１となるように設定する。例えば、図６（ｂ）に示した例においては、出力高解像度画像の領域４５内の画素４４（画像４１の画素４３に相当する）の周囲に均等な距離にある４つの各画素にかかる係数は、１／４＝０．２５となり、それ以外の係数は“０”となる。さらに撮像装置１１若しくは外部撮像装置１５の点広がり関数が既知である場合、若しくは何らかの点広がり関数を仮定した場合は、その情報をｗijの値に反映させることができる。例えば、画像の拡大率が２倍で点広がり関数が標準偏差σのガウス関数であった場合ｗijの値は、原点を中心とした縦横２ピクセルの範囲で“０．２５”となり、それ以外の範囲で“０”をとる関数と、標準偏差σのガウス関数の畳み込みから計算できる。 It can be described by conditional expression (1) of the form The value of wij is set to “0” if xi is not associated with yj in the mapping detector 23. In other cases, the values of wij in the region associated with the mapping detection unit 23 are all set to be equal and the sum of wij is set to 1. For example, in the example shown in FIG. 6B, the coefficients applied to the four pixels at equal distances around the pixel 44 (corresponding to the pixel 43 of the image 41) in the region 45 of the output high resolution image. ¼ = 0.25, and other coefficients are “0”. Further, when the point spread function of the image pickup apparatus 11 or the external image pickup apparatus 15 is known, or when any point spread function is assumed, the information can be reflected in the value of wij. For example, when the image enlargement ratio is 2 and the point spread function is a Gaussian function with a standard deviation σ, the value of wij is “0.25” in the range of 2 pixels vertically and horizontally with the origin as the center. It can be calculated from convolution of a function that takes “0” in the range and a Gaussian function with a standard deviation σ.

また同じｊに関する係数ｗijを並べた行ベクトルをｗjと表記すると条件式（１）は、   If a row vector in which coefficients wij related to the same j are arranged is expressed as wj, the conditional expression (1) is

Figure 0004714062
Figure 0004714062

の条件式（２）となる。ここでδjは、例えば、０〜０．５程度の値とする。以後、画素ｙjに関する条件式を「条件式ｊ」と称し、また、全てのｊに対する条件式ｊをまとめて、「撮像モデルによる条件式」と称する。尚、条件式算出部２４では、撮像モデルによる条件式とは別の条件式を作成することが可能である。例えばデジタル画像の画素値は０〜２５５の範囲であることが多いため、 Conditional expression (2). Here, δj is set to a value of about 0 to 0.5, for example. Hereinafter, the conditional expression relating to the pixel yj is referred to as “conditional expression j”, and the conditional expressions j for all j are collectively referred to as “conditional expressions based on the imaging model”. In the conditional expression calculation unit 24, it is possible to create a conditional expression different from the conditional expression based on the imaging model. For example, pixel values of digital images are often in the range of 0-255,

Figure 0004714062
Figure 0004714062

といった条件式（３）を作成することができる。このような条件式を以後、「事前知識による条件式」と称する。 Conditional expression (3) can be created. Such conditional expressions are hereinafter referred to as “conditional expressions based on prior knowledge”.

以上のようにして、図１に示す条件式算出部２から出力画像生成部４で利用する条件式が得られる。以後、撮像モデルによる条件式の総数と、事前知識による条件式の総数の和をＪと表記する。また、事前知識による条件式にはｊmax以上のＩＤ番号が付与されているものとする。   As described above, the conditional expression used in the output image generation unit 4 is obtained from the conditional expression calculation unit 2 shown in FIG. Hereinafter, the sum of the total number of conditional expressions based on the imaging model and the total number of conditional expressions based on prior knowledge is denoted as J. It is assumed that an ID number equal to or greater than jmax is given to the conditional expression based on prior knowledge.

本実施形態においては、以後、これらの条件式の組を「撮像過程のモデル」と称する。また、出力高解像度画像の画素値即ち、ｘが撮像過程のモデルをなす条件式のいずれかを満たしていない状態を、「撮像過程のモデルと出力高解像度画像の間に矛盾がある状態」と称する。条件式は、画素値は常に一定のダイナミックレンジ内にあるとするものも含む。   In the present embodiment, a set of these conditional expressions is hereinafter referred to as an “imaging process model”. In addition, the pixel value of the output high-resolution image, that is, a state where x does not satisfy any of the conditional expressions forming the imaging process model is referred to as “a state where there is a contradiction between the imaging process model and the output high-resolution image”. Called. The conditional expression includes one in which the pixel value is always within a certain dynamic range.

また、矛盾とは xが「撮像過程のモデル」をなす条件式のうち、ひとつ以上を満たしていないことを意味する。矛盾が生じていない場合には、ｗijを構成要素とする行列wとxをかけて得られるベクトルy2の各要素と、もとのyの各要素の差はδjより小さくなる。δjの値を０〜０．５程度の値に設定した場合は、y2はｙとほとんど同じ画像となる。しかし矛盾が生じている場合には、y2はyと異なる画像となる。   Contradiction means that x does not satisfy one or more of the conditional expressions forming the “imaging process model”. When no contradiction occurs, the difference between each element of the vector y2 obtained by multiplying the matrix w and x having wij as a component and each element of the original y is smaller than δj. When the value of δj is set to a value of about 0 to 0.5, y2 is almost the same image as y. However, when there is a contradiction, y2 is an image different from y.

次に順序設定部３は、条件式算出部２で得られた条件式に順序付けを行う（ステップＳ３）。図７には、この順序設定部３の一構成例を示す。
この構成において、信頼度算出部５１は、条件式算出部２で得られたそれぞれの条件式に対して、大小の関係が分かる数値で表される信頼度を付与する。信頼度は、フレーム間対応点検出ステップで対応付けられた低解像度画像内の２点の画素値の差によって決定される。順序設定部５２は、信頼度算出部５１で得られた信頼度に従って、条件式算出部２で得られた条件式に順序を設定する。まず、撮像モデルによる条件式の順序付けについて述べる。信頼度の設定法は、少なくとも４つの手法がある。 Next, the order setting unit 3 orders the conditional expressions obtained by the conditional expression calculation unit 2 (step S3). FIG. 7 shows a configuration example of the order setting unit 3.
In this configuration, the reliability calculation unit 51 gives a reliability expressed by a numerical value indicating a magnitude relationship to each conditional expression obtained by the conditional expression calculation unit 2. The reliability is determined by the difference between the pixel values of two points in the low-resolution image associated in the inter-frame corresponding point detection step. The order setting unit 52 sets the order in the conditional expression obtained by the conditional expression calculation unit 2 in accordance with the reliability obtained by the reliability calculation unit 51. First, ordering of conditional expressions by the imaging model will be described. There are at least four methods for setting the reliability.

第１の手法として、画像拡大装置１０の信頼度設定部５１では、条件式ｊの信頼度を、ｊ番目の画素の画素値ｙjと、基準画像上のｊ番目の画素が対応付けられた点の画素値ｙj’との差ｄj（ｄj＝｜ｙj−ｙj’｜）が大きいほど小さな値に設定する。この設定により、被写体の異なる色を持つ領域同士を対応付けるという誤ったフレーム間対応点の信頼度を低くする。即ち、信頼度はフレーム間対応点検出で対応付けられた低解像度画像中の２点の画素値の差によって決定される。   As a first method, in the reliability setting unit 51 of the image enlargement apparatus 10, the reliability of the conditional expression j is obtained by associating the pixel value yj of the jth pixel with the jth pixel on the reference image. The smaller the difference dj (dj = | yj−yj ′ |) from the pixel value yj ′, the smaller the value. With this setting, the reliability of an erroneous inter-frame correspondence point that associates regions having different colors of the subject is lowered. That is, the reliability is determined by the difference between the pixel values of two points in the low-resolution image associated with the inter-frame corresponding point detection.

第２の手法として、画像拡大装置１０の信頼度設定部５１では、条件式ｊの信頼度を、ｊ番目の画素が属する低解像度画像の撮像時刻と基準画像の撮像時刻の差が大きいほど小さな値に設定する。被写体は、経時変化即ち、時間が経過するほど変形や変色を起こす可能性が高くなるたため、撮像時刻に近い時間の情報に対してより高い信頼度を与える。即ち、信頼度は、フレーム間対応点を求める際に利用した低解像度画像の撮像時刻の差によって決定される。   As a second method, in the reliability setting unit 51 of the image enlargement apparatus 10, the reliability of the conditional expression j is smaller as the difference between the imaging time of the low resolution image to which the jth pixel belongs and the imaging time of the reference image is larger. Set to value. Since the subject is more likely to be deformed or discolored as time passes, that is, as time elapses, it gives higher reliability to information at a time close to the imaging time. That is, the reliability is determined by the difference in imaging time of the low resolution image used when obtaining the inter-frame corresponding point.

第３の手法として、画像拡大装置１０の信頼度設定部５１では、条件式ｊの信頼度を、ｊ番目の画素が属する低解像度画像の部分領域のエッジ強度が小さいほど小さい値に設定する。このエッジ強度の強さにより設定することによって、正確に動きベクトルを求めにくい平坦な領域（同じ輝度値）に対する条件式の信頼度を下げている。即ち、信頼度は低解像度画像の部分領域が持つエッジ強度によって決定される。   As a third technique, the reliability setting unit 51 of the image enlarging apparatus 10 sets the reliability of the conditional expression j to a smaller value as the edge strength of the partial region of the low resolution image to which the jth pixel belongs is smaller. By setting the edge strength, the reliability of the conditional expression for a flat region (same luminance value) where it is difficult to obtain a motion vector accurately is lowered. That is, the reliability is determined by the edge strength of the partial area of the low resolution image.

第４の手法として、画像拡大装置の信頼度設定部では、条件式ｊの信頼度を、ｊ番目の画素が属する低解像度画像の色分布と基準画像の色分布の差が大きいほど小さい値に設定する。この差分による設定により、例えばフリッカ等で、画面全体の色分布が変わってしまった場合などに対処することが可能となる。即ち、信頼度はフレーム間対応点を求める際に利用した低解像度画像の色分布の差によって決定される。   As a fourth method, in the reliability setting unit of the image enlargement apparatus, the reliability of the conditional expression j is set to a smaller value as the difference between the color distribution of the low resolution image to which the jth pixel belongs and the color distribution of the reference image is larger. Set. This setting based on the difference makes it possible to cope with a case where the color distribution of the entire screen has changed due to, for example, flicker. That is, the reliability is determined by the difference in the color distribution of the low-resolution image used when obtaining the inter-frame corresponding point.

これらの４つの手法による信頼度は、重み付け和等の形で併せて利用することも可能である。また、事前知識による条件式については、撮像モデルによる条件式に与えた信頼度の大きさを考慮して人手で信頼度を付与する。例えば、画素値のダイナミックレンジは、常に０〜２５５の範囲内であると仮定するならば、条件式（３）を用いて、撮像モデルによる条件式に与えた信頼度の最大値より大きい信頼度を付与すればよい。   The reliability by these four methods can also be used in the form of a weighted sum or the like. In addition, regarding the conditional expression based on prior knowledge, the degree of reliability given to the conditional expression based on the imaging model is given manually and the reliability is manually assigned. For example, if it is assumed that the dynamic range of the pixel value is always in the range of 0 to 255, the reliability is greater than the maximum value of the reliability given to the conditional expression by the imaging model using the conditional expression (3). Can be given.

以後、順序設定部３で条件式ｊに付与された信頼度をｒjと記述する。なおここで、非特許文献２に記載されるように、閾値処理を用いて信頼度ｒjが極端に低い条件式を排除してもよい。   Hereinafter, the reliability given to the conditional expression j by the order setting unit 3 is described as rj. Here, as described in Non-Patent Document 2, a conditional expression with extremely low reliability rj may be excluded using threshold processing.

順序設定部５２では、信頼度算出部５１で設定された信頼度に応じて条件式に順序をつける。すなわち、Ｎeq個の番号を格納できる１次元配列を準備し、その中に０〜Ｊの番号を格納する。その際、全ての条件式の番号（０〜Ｊ）が１回以上配列の中に出現するように設定し、また、より大きな信頼度を持つ条件式の番号が配列の後方に配置されるようにする。つまり、信頼度の低いものから後方に行くに従い高くなるように順に並べている。   The order setting unit 52 orders the conditional expressions according to the reliability set by the reliability calculation unit 51. That is, a one-dimensional array capable of storing Neq numbers is prepared, and numbers 0 to J are stored therein. At that time, all conditional expression numbers (0 to J) are set to appear in the array one or more times, and the conditional expression numbers having higher reliability are arranged at the rear of the array. To. That is, they are arranged in order from the low reliability to the higher the backward.

具体的な順序設定方法を例えば、３つの例について説明する。
第１の順序設定方法は、Ｎeq＝Ｊとし、得られたＪ個の条件式を信頼度ｒjが小さい順に１次元配列に格納する方法である。 For example, three examples of the order setting method will be described.
The first order setting method is a method of setting Neq = J and storing the obtained J conditional expressions in a one-dimensional array in ascending order of reliability rj.

第２の順序設定方法は、まず低解像度画像の撮像時刻や色分布を用いて低解像度画像ごとに信頼度を付与する。また、信頼度が小さい順に番号ｆ（ｆ＝0，…，F-1）を付与する。次に低解像度画像ごとに動きベクトルの誤差による信頼度を求め、画像ごとに第１の順序設定方法若しくは従来手法で条件式を並べた条件式列Ｃfを作成する。また、事前知識による条件式は全てまとめてＣFとする。最後に条件式列をＣ0， Ｃ1， Ｃ2， … ＣF の順で並べる。   In the second order setting method, first, reliability is assigned to each low resolution image using the imaging time and color distribution of the low resolution image. Also, numbers f (f = 0,..., F−1) are assigned in ascending order of reliability. Next, the reliability based on the motion vector error is obtained for each low-resolution image, and a conditional expression sequence Cf in which conditional expressions are arranged for each image by the first order setting method or the conventional method is created. All conditional expressions based on prior knowledge are collectively referred to as CF. Finally, the conditional expression sequence is arranged in the order of C0, C1, C2,.

前述した第１の順序設定方法においては、出力高解像度画像の特定の部分領域に関する条件式が全て前方に配置される。その前方の条件式により修正された結果が、後方に配置された条件式による修正で破壊されると、出力高解像度画像中に周囲との一貫性を欠く領域が出現する可能性があるが、第２の順序設定方法では、低解像度画像毎ごとに条件式をまとめることで、その影響を排除している。   In the first order setting method described above, all conditional expressions relating to a specific partial region of the output high-resolution image are arranged in front. If the result corrected by the conditional expression in front of it is destroyed by the correction by the conditional expression placed behind, there may be a region that is inconsistent with the surroundings in the output high-resolution image. In the second order setting method, the conditional expressions are collected for each low resolution image to eliminate the influence.

第３の順序設定方法は、第２の順序設定方法と同様の手順でＣｆを作成した後、条件式列をＣ0， ＣF-1， Ｃ1， ＣF-1， Ｃ2， ＣF-1， …，ＣF-2， ＣF-1， ＣFの順で並べる。第１、第２の順序設定法に比べ修正回数は造作するが、信頼度の低い画像から得られた条件式による修正の直後に、信頼度が最も高い画像による修正を行うため、アーチファクトの抑制効果がより強くなる。   In the third order setting method, Cf is created in the same procedure as the second order setting method, and then the conditional expression sequence is changed to C0, CF-1, C1, CF-1, C2, CF-1,. Arrange in the order of -2, CF-1, and CF. Compared to the first and second order setting methods, the number of corrections is made, but the correction with the image with the highest reliability is performed immediately after the correction with the conditional expression obtained from the image with low reliability, so that the artifacts are suppressed. The effect becomes stronger.

前述した３つの手法では、ＣFを条件式列の最後に配置したが、ＣFの配置は、ヒューリスティックに適宜、人手で決定してもよい。   In the three methods described above, CF is arranged at the end of the conditional expression sequence. However, the arrangement of CF may be determined heuristically and manually.

次に、出力画像生成部４では、出力する高解像度画像を生成する。図８には、出力画像生成部４の構成例を示し、図９には、その処理手順を示す。
この出力画像生成部４は、処理結果を格納する処理結果格納バッファ６４と、条件式算出部２で得られた条件式を格納する条件式格納バッファ６２と、順序設定部で得られた条件式の順序を格納する順序格納バッファ６１との３つのバッファを備えている。処理結果格納バッファ６４にはまず、基準画像を線形内挿法等で出力高解像度画像と同じ解像度に拡大した画像が初期画像として格納される（ステップＳ１１）。 Next, the output image generation unit 4 generates a high-resolution image to be output. FIG. 8 shows a configuration example of the output image generation unit 4, and FIG. 9 shows the processing procedure.
The output image generation unit 4 includes a processing result storage buffer 64 for storing the processing results, a conditional expression storage buffer 62 for storing the conditional expressions obtained by the conditional expression calculation unit 2, and a conditional expression obtained by the order setting unit. Are provided with three buffers, an order storage buffer 61 for storing the above-described order. First, an image obtained by enlarging the reference image to the same resolution as the output high resolution image by linear interpolation or the like is stored as an initial image in the processing result storage buffer 64 (step S11).

条件式格納バッファ６２には、条件式（１）の情報が格納される。また、順序格納バッファ６１には順序設定部３で設定された条件式の順序が格納される。出力画像生成部４は、カウンタが初期化（修正実施回数Ｎ＝０，nSkip＝０）された後（ステップＳ１２）、まず、順序格納バッファ６１の先頭から順に条件式の番号Ｘを読み出す（ステップＳ１３）。次に、番号Ｘに対応する条件式Ｘを条件式格納バッファ６２から読み出す（ステップＳ１４）。さらに、処理結果格納バッファ６４に蓄積された画像が条件式Ｘを満たしているか否かを判定する（ステップＳ１５）。この判定において、処理結果格納バッファ６４中の画像が条件式Ｘを満たしていない場合には（ＮＯ）、修正を行う（ステップＳ１６）。一方、処理結果格納バッファ６４中の画像が既に条件式Ｘを満たしている場合には（ＹＥＳ）、その回数nSkipに対して１を増加させるインクリメント処理を行う（ステップＳ１７）。前記ステップＳ１６における画像の修正は、非特許文献１，２におけるＰＯＣＳを用いた処理と同等な処理を行う。   The conditional expression storage buffer 62 stores information on the conditional expression (1). The order storage buffer 61 stores the order of the conditional expressions set by the order setting unit 3. After the counter is initialized (number of corrections performed N = 0, nSkip = 0) (step S12), the output image generation unit 4 first reads the conditional expression number X from the head of the order storage buffer 61 (step S12). S13). Next, the conditional expression X corresponding to the number X is read from the conditional expression storage buffer 62 (step S14). Further, it is determined whether the image accumulated in the processing result storage buffer 64 satisfies the conditional expression X (step S15). In this determination, if the image in the processing result storage buffer 64 does not satisfy the conditional expression X (NO), correction is performed (step S16). On the other hand, if the image in the processing result storage buffer 64 already satisfies the conditional expression X (YES), increment processing for increasing 1 to the number nSkip is performed (step S17). The correction of the image in step S16 performs a process equivalent to the process using POCS in Non-Patent Documents 1 and 2.

前記ステップＳ１３以降のステップについて詳細に説明する。出力高解像度画像はｉmax次元の実数ベクトルが張る空間中の１点として表すことができる。また、画素ｙj関する条件式ｊを満たす画像は、ｉmax次元の実ベクトルが張る空間の中で凸集合（Convex Set）をなし、ｊmax個の凸集合の積集合中の点が、全ての条件式を満たす望ましい出力高解像度画像となる。ＰＯＣＳはｊmax個の凸集合の中から一つを選び、選ばれた凸集合の内部の点に初期画像を写像（Projection）する操作を繰り返すことで、最終的な出力高解像度画像を得ることができる。   The steps after step S13 will be described in detail. The output high-resolution image can be represented as one point in the space spanned by an imax-dimensional real vector. An image satisfying conditional expression j relating to pixel yj forms a convex set (Convex Set) in a space spanned by an imax-dimensional real vector, and points in the intersection set of jmax convex sets are all conditional expressions. A desirable output high resolution image satisfying POCS can select one of the jmax convex sets and repeat the operation of projecting the initial image to a point inside the selected convex set to obtain the final output high-resolution image. it can.

まず、前記ステップＳ１３，Ｓ１４により、ｊmax個の条件式の中から１つの式条件式Ｘを選ぶ。次に、処理結果格納バッファ６４に格納されている画像ｘ’と撮像モデルから得られる低解像度画像の画素値と、実際の低解像度画像の画素値の差εXを   First, in step S13 and S14, one conditional expression X is selected from jmax conditional expressions. Next, the difference εX between the pixel value of the low-resolution image obtained from the image x ′ and the imaging model stored in the processing result storage buffer 64 and the pixel value of the actual low-resolution image is calculated.

Figure 0004714062
Figure 0004714062

として求める。前記ステップＳ１５の判定において、εXの絶対値がδXより小さければ、条件式Ｘは満たされていると判定され、前記ステップＳ１６に移行する。一方、εXの絶対値がδXより大きければ、条件式Ｘは満たされていないと判定され、前記ステップＳ１７に移行する。これらのステップＳ１６，Ｓ１７は、 Asking. If it is determined in step S15 that the absolute value of εX is smaller than δX, it is determined that the conditional expression X is satisfied, and the process proceeds to step S16. On the other hand, if the absolute value of εX is larger than δX, it is determined that the conditional expression X is not satisfied, and the routine goes to Step S17. These steps S16, S17 are:

Figure 0004714062
Figure 0004714062

となる画像ｘ”で処理結果格納バッファ６４を上書きすることと等価である。前記式（４）の１段目と３段目が、図７に示したステップＳ１６に、２段目が図７に示したステップＳ１７の処理に相当する。δXの値は、例えば条件式算出部２４で述べたように、０〜０．５程度の範囲でユーザーが指定する。 Is equivalent to overwriting the processing result storage buffer 64 with the image x ″. The first and third stages of the equation (4) are shown in step S16 shown in FIG. 7, and the second stage is shown in FIG. The value of δX is specified by the user in the range of about 0 to 0.5 as described in the conditional expression calculation unit 24, for example.

次に図９のフローチャートに戻り説明する。順序格納バッファ６１の終端の値を読み出し、修正が施された後に、修正実施回数Ｎに１を加えてインクリメント処理を行い（ステップＳ１８）、Ｎが条件式格納バッファの要素数を越えたか否かを判定する（ステップＳ１９）。この判定で、要素数がＮを越えていなければ（ＮＯ）、ステップＳ１３に戻り、再度条件式を取得して処理を同様に行う。一方、要素数がＮを越えていたならば（ＹＥＳ）、終了判定に移行する（ステップＳ２０）。   Next, returning to the flowchart of FIG. After the end value of the order storage buffer 61 is read out and corrected, 1 is added to the correction execution count N and increment processing is performed (step S18). Whether N exceeds the number of elements in the conditional expression storage buffer or not Is determined (step S19). If it is determined in this determination that the number of elements does not exceed N (NO), the process returns to step S13, the conditional expression is acquired again, and the process is performed in the same manner. On the other hand, if the number of elements exceeds N (YES), the process proceeds to end determination (step S20).

この終了判定の条件としては、例えば３つの方法を取ることができる。
まず、第１の判定方法として、処理結果格納バッファ６４中の画像が全ての条件式を満たしているか、即ちnSkipとｊmaxの値が等しいか否かで判定することができる。 For example, three methods can be used as the condition for the end determination.
First, as a first determination method, it is possible to determine whether an image in the processing result storage buffer 64 satisfies all conditional expressions, that is, whether nSkip and jmax are equal.

第２の判定方法として、前記ステップＳ１４において処理結果格納バッファ６４に格納されていた画像と、ステップＳ２０において処理結果格納バッファ６４に格納されていた画像の間の差、例えば画素値の平均二乗誤差が閾値を下回っているか否かで判定することができる。   As a second determination method, a difference between the image stored in the processing result storage buffer 64 in step S14 and the image stored in the processing result storage buffer 64 in step S20, for example, the mean square error of the pixel value. It can be determined by whether or not is below the threshold.

第３の判定方法として、前記ステップＳ１２からＳ２０までに行われる処理を所定の回数繰り返しているか否かで判定することができる。例えば、処理が終了したと判定されたならば、処理結果格納バッファ６４に蓄積されている画像を図３（ｂ）に示す記録媒体１３やディスプレイ１９に出力する。このように、本実施形態に係わる画像拡大装置によれば、順序設定部３によって出力画像生成部４で行われるＰＯＣＳの条件式選択順序を最適化することが可能となる。   As a third determination method, it is possible to determine whether or not the processes performed from step S12 to S20 are repeated a predetermined number of times. For example, if it is determined that the processing is completed, the image accumulated in the processing result storage buffer 64 is output to the recording medium 13 and the display 19 shown in FIG. Thus, according to the image enlarging apparatus according to the present embodiment, the order setting unit 3 can optimize the order of selecting POCS conditional expressions performed by the output image generating unit 4.

なお、この画像拡大装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。このとき、画像拡大装置は、図９に示すような処理工程を実施するためのプログラムをコンピュータ装置に予めインストールして駐在することで実現してもよいし、ＣＤ−ＲＯＭ等の着脱可能な記憶媒体に記憶して用いてもよい。さらには、汎用的なネットワークを介して、前記プログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。   Note that this image enlargement apparatus can also be realized by using, for example, a general-purpose computer apparatus as basic hardware. At this time, the image enlarging apparatus may be realized by installing a program for executing the processing steps as shown in FIG. 9 in advance and residing in the computer apparatus, or a removable storage such as a CD-ROM. It may be stored in a medium and used. Furthermore, the program may be distributed via a general-purpose network, and this program may be installed in a computer device as appropriate.

以上説明したように、本発明の画像拡大装置及びその画像拡大方法によれば、誤差の大きい動きベクトルから得られた条件式によって生成されたアーチファクトを誤差の小さい動きベクトルから得られた条件式による修正で抑制し、出力高解像度画像の画質を高めることができる。よって、予め設定された複数の条件式のそれぞれの信頼度を順序付けて、信頼度の低い条件式による修正から信頼度の高い条件式による修正に至ることにより、高解像度化の画像修正の効果より高めることができる。   As described above, according to the image enlarging apparatus and the image enlarging method of the present invention, the artifact generated by the conditional expression obtained from the motion vector having a large error is expressed by the conditional expression obtained from the motion vector having the small error. It can be suppressed by correction and the image quality of the output high-resolution image can be improved. Therefore, by ordering the reliability of each of a plurality of preset conditional expressions, from the correction by the conditional expression with low reliability to the correction by the conditional expression with high reliability, the effect of image correction with high resolution is achieved. Can be increased.

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。   Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.

本発明の実施の形態に関する画像拡大装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the image expansion apparatus regarding embodiment of this invention. 本発明の実施の形態に関する画像拡大装置の処理手順を説明するためのフローチャートである。It is a flowchart for demonstrating the process sequence of the image expansion apparatus regarding embodiment of this invention. 本発明の実施の形態に関する画像拡大装置を組み込んだデジタルビデオカメラ構成例とＨＤＤレコーダーの構成例を示すブロック図である。1 is a block diagram illustrating a configuration example of a digital video camera and a configuration example of an HDD recorder incorporating an image enlargement apparatus according to an embodiment of the present invention. 本発明の実施の形態に関する画像拡大装置の条件式算出部２の構成例を示すブロック図である。It is a block diagram which shows the structural example of the conditional expression calculation part 2 of the image expansion apparatus regarding embodiment of this invention. 本発明の実施の形態に関するフレーム間対応点の概念を表すブロック図である。It is a block diagram showing the concept of the corresponding point between frames regarding embodiment of this invention. 本発明の実施の形態に関するマッピングの概念を表すブロック図である。It is a block diagram showing the concept of the mapping regarding embodiment of this invention. 本発明の実施の形態に関する画像拡大装置の順序設定部３の構成例を示すブロック図である。It is a block diagram which shows the structural example of the order setting part 3 of the image expansion apparatus regarding embodiment of this invention. 本発明の実施の形態に関する画像拡大装置の出力画像生成部４の構成を示すブロック図である。It is a block diagram which shows the structure of the output image generation part 4 of the image expansion apparatus regarding embodiment of this invention. 本発明の実施の形態に関する画像拡大装置の出力画像生成部４の処理手順を説明するためのフローチャートである。It is a flowchart for demonstrating the process sequence of the output image generation part 4 of the image expansion apparatus regarding embodiment of this invention.

符号の説明Explanation of symbols

１…画像入力部、２…条件式算出部、３…順序設定部、４…出力画像生成部、１０…画像拡大装置、１１…撮像装置、１３，１７，２０…記録媒体、１４…表示装置（提示装置）、１５…外部撮像装置、１６…チューナー、１９…ディスプレイ、２０…、２１…基準画像選定部、２２…フレーム間対応点検出部、２３…マッピング検出部、２４…条件式算出部、３１…低解像度画像、３２，４１…基準画像、３３，３４，４３…画素、４２…出力高解像度画像、４５…部分領域、５１…信頼度算出部、５２…順序設定部、６１…順序格納バッファ、６２…条件式格納バッファ、６３…簡易拡大部、６４…処理結果格納バッファ。   DESCRIPTION OF SYMBOLS 1 ... Image input part, 2 ... Conditional expression calculation part, 3 ... Order setting part, 4 ... Output image generation part, 10 ... Image expansion apparatus, 11 ... Imaging apparatus, 13, 17, 20 ... Recording medium, 14 ... Display apparatus (Presentation device), 15 ... external imaging device, 16 ... tuner, 19 ... display, 20 ..., 21 ... reference image selection unit, 22 ... inter-frame corresponding point detection unit, 23 ... mapping detection unit, 24 ... conditional expression calculation unit , 31 ... low resolution image, 32, 41 ... reference image, 33, 34, 43 ... pixel, 42 ... output high resolution image, 45 ... partial region, 51 ... reliability calculation unit, 52 ... order setting unit, 61 ... order Storage buffer, 62 ... Conditional expression storage buffer, 63 ... Simplified enlargement unit, 64 ... Processing result storage buffer.

Claims (12)

複数枚の低解像度画像から前記低解像度画像よりも高い解像度を有する少なくとも１枚の出力高解像度画像を生成する画像拡大装置であって、
前記複数枚の低解像度画像を取得する画像入力部と、
前記低解像度画像と撮像過程のモデルと前記出力高解像度画像との間に矛盾が生じないために必要な複数の条件式を求める条件式算出部と、
前記複数の条件式のそれぞれに数値で表される信頼度を付与し、高い信頼度が付与された該条件式を順序の後方から配置するように順序付けする順序設定部と、
前記低解像度画像から初期画像を生成し、前記順序付けに従い、前記条件式を満たすように前記初期画像を順次修正して出力高解像度画像を生成する出力画像生成部と、
を備えることを特徴とする画像拡大装置。 An image enlarging device that generates at least one output high-resolution image having a higher resolution than the low-resolution image from a plurality of low-resolution images,
An image input unit for acquiring the plurality of low-resolution images;
A conditional expression calculation unit for obtaining a plurality of conditional expressions necessary to prevent inconsistency between the low-resolution image, the imaging process model, and the output high-resolution image;
An order setting unit that assigns a reliability represented by a numerical value to each of the plurality of conditional expressions, and orders the conditional expressions provided with a high reliability so as to be arranged from the rear of the order;
An output image generation unit that generates an initial image from the low-resolution image, and sequentially corrects the initial image to satisfy the conditional expression according to the ordering, and generates an output high-resolution image;
An image enlarging apparatus comprising: 前記条件式算出部が、
前記低解像度画像のうちの１枚を基準画像として選択する基準画像選択ステップと、
前記低解像度画像上の各点と基準画像上の点の対応付けを求めるフレーム間対応点検出ステップと、
前記フレーム間対応点と撮像装置の点広がり関数をもとに、前記出力高解像度画像の部分領域と、前記低解像度画像の画素の対応付けを求めるマッピング検出ステップと、
による３つの前記ステップを用いて、
前記撮像過程のモデルのパラメータを求め、前記条件式として、前記画素マッピング検出ステップで得られた前記出力高解像度画像の部分領域の画素値の加重平均と前記マッピング検出ステップで対応付けられた前記低解像度画像の１画素の画素値の差が閾値以下とする式を出力することを特徴とする請求項１の画像拡大装置。 The conditional expression calculation unit
A reference image selection step of selecting one of the low resolution images as a reference image;
An inter-frame corresponding point detection step for obtaining a correspondence between each point on the low-resolution image and a point on the reference image;
Based on the inter-frame corresponding point and the point spread function of the imaging device, a mapping detection step for obtaining a correspondence between the partial region of the output high-resolution image and the pixel of the low-resolution image;
Using the above three steps according to
A parameter of the imaging process model is obtained, and as the conditional expression, a weighted average of pixel values of partial regions of the output high-resolution image obtained in the pixel mapping detection step is associated with the low value associated in the mapping detection step. 2. The image enlarging apparatus according to claim 1, wherein an expression for setting a difference between pixel values of one pixel of the resolution image to be equal to or smaller than a threshold is output. 前記信頼度が、前記フレーム間対応点検出ステップで対応付けられた前記低解像度画像中の２点の画素値の差によって決定されることを特徴とする請求項２の画像拡大装置。   The image enlarging apparatus according to claim 2, wherein the reliability is determined by a difference between pixel values of two points in the low-resolution image associated in the inter-frame corresponding point detecting step. 前記信頼度が、前記フレーム間対応点を求める際に利用した低解像度画像の撮像時刻の差によって決定されることを特徴とする請求項２の画像拡大装置。   The image enlarging apparatus according to claim 2, wherein the reliability is determined by a difference in imaging time of low-resolution images used when obtaining the inter-frame corresponding points. 前記信頼度が、前記低解像度画像の部分領域が持つエッジ強度によって決定されることを特徴とする請求項２の画像拡大装置。   The image enlarging apparatus according to claim 2, wherein the reliability is determined by edge strength of a partial region of the low resolution image. 前記信頼度が、前記フレーム間対応点を求める際に利用した低解像度画像の色分布の差によって決定されることを特徴とする請求項２の画像拡大装置。   3. The image enlarging apparatus according to claim 2, wherein the reliability is determined by a difference in color distribution of a low-resolution image used when obtaining the inter-frame corresponding point. 前記条件式が、画素値は常に一定のダイナミックレンジ内にあるとするものも含むことを特徴とする請求項２乃至６のいずれに１つの画像拡大装置。   7. The image enlargement apparatus as claimed in claim 2, wherein the conditional expression includes one in which the pixel value is always within a certain dynamic range. 前記条件式算出部は、前記画像入力部から、前記複数の低解像度画像の画素数の総和が前記出力高解像度画像の画素数以上となる枚数の該低解像度画像を取得することを特徴とする請求項１乃至７のうちのいずれか１つに記載の画像拡大装置。 The condition calculation unit, and characterized in that from the image input unit, acquires a low-resolution image image number of the total number of pixels in the multiple low-resolution images is equal to or greater than the number of pixels of the output high-resolution image The image enlargement apparatus according to claim 1 . 複数枚の低解像度画像から前記低解像度画像よりも高い解像度を有する少なくとも１枚の出力高解像度画像を生成する画像拡大方法であって、
前記複数枚の低解像度画像を取得し、
取得した前記低解像度画像と、撮像過程のモデルと前記出力高解像度画像との間に矛盾が生じないために必要な複数の条件式を算出し、
前記複数の条件式のそれぞれに数値で表される信頼度を付与し、高い信頼度が付与された該条件式を順序の後方から配置するように順序付けを行い、
前記低解像度画像から初期画像を生成し、前記順序付けに従い、前記条件式を満たすように前記初期画像を順次修正して出力高解像度画像を生成することを特徴とする画像拡大方法。 An image enlarging method for generating at least one output high-resolution image having a higher resolution than the low-resolution image from a plurality of low-resolution images,
Obtaining the plurality of low resolution images;
Calculating a plurality of conditional expressions necessary to prevent inconsistency between the acquired low-resolution image, the model of the imaging process, and the output high-resolution image;
Giving a reliability represented by a numerical value to each of the plurality of conditional expressions, performing ordering so that the conditional expressions given a high reliability are arranged from the rear of the order,
An image enlargement method comprising: generating an initial image from the low-resolution image; and sequentially modifying the initial image so as to satisfy the conditional expression according to the ordering to generate an output high-resolution image. 前記画像拡大方法における条件式の算出は、
前記低解像度画像のうちの１枚を基準画像として選択し、
前記低解像度画像上の各点と基準画像上の点とのフレーム間における対応付けを求め、
前記フレーム間における対応点と、前記低解像度画像を撮像する撮像装置が有する点広がり関数とをもとに、前記出力高解像度画像の部分領域と、前記低解像度画像の画素の対応付けを求めて、
前記撮像過程のモデルのパラメータを求め、前記条件式として、前記出力高解像度画像の部分領域の画素値の加重平均と、前記対応付けられた前記低解像度画像の１つの画素の画素値の差が閾値以下とする式を出力することを特徴とする請求項９の画像拡大方法。 Calculation of the conditional expression in the image enlargement method is
Selecting one of the low resolution images as a reference image;
Obtaining a correspondence between frames of each point on the low-resolution image and a point on the reference image;
Based on the corresponding points between the frames and the point spread function of the imaging device that captures the low-resolution image, the correspondence between the partial region of the output high-resolution image and the pixel of the low-resolution image is obtained. ,
A parameter of the imaging process model is obtained, and as the conditional expression, a weighted average of pixel values of partial regions of the output high-resolution image and a pixel value difference of one pixel of the associated low-resolution image are calculated. The image enlargement method according to claim 9, wherein an expression for setting the threshold value or less is output. 前記信頼度は、
第１に、前記フレーム間対応点検出ステップで対応付けられた前記低解像度画像中の２点の画素値の差によって決定される、
第２に、前記フレーム間対応点を求める際に利用した低解像度画像の撮像時刻の差によって決定される、
第３に、前記低解像度画像の部分領域が持つエッジ強度によって決定される、
第４に、前記フレーム間対応点を求める際に利用した低解像度画像の色分布の差によって決定される、
前記第１乃至第４の手法のいずれかにより決定されることを特徴とする請求項９に記載の画像拡大方法。 The reliability is
First, it is determined by a difference between pixel values of two points in the low-resolution image associated in the inter-frame corresponding point detection step.
Second, it is determined by the difference in the imaging time of the low resolution image used when obtaining the inter-frame corresponding point.
Third, it is determined by the edge strength of the partial area of the low resolution image.
Fourth, it is determined by the difference in color distribution of the low-resolution image used when obtaining the inter-frame corresponding points.
The image enlargement method according to claim 9, wherein the image enlargement method is determined by any one of the first to fourth methods. 複数枚の低解像度画像から前記低解像度画像よりも高い解像度を有する少なくとも１枚の出力高解像度画像を生成する画像拡大方法の手順を記録する記録媒体であって、
前記複数枚の低解像度画像を取得する第１の手順と、
取得した前記低解像度画像と、撮像過程のモデルと前記出力高解像度画像との間に矛盾が生じないために必要な複数の条件式を算出する手順と、
前記複数の条件式のそれぞれに数値で表される信頼度を付与し、高い信頼度が付与された該条件式を順序の後方から配置するように順序付けを行う手順と、
前記低解像度画像から初期画像を生成し、前記順序付けに従い、前記条件式を満たすように前記初期画像を順次修正して出力高解像度画像を生成する手順と、をプログラムとして記録することを特徴とする高解像度画像を生成するプログラムを記録する記録媒体。 A recording medium for recording a procedure of an image enlarging method for generating at least one output high resolution image having a higher resolution than the low resolution image from a plurality of low resolution images,
A first procedure for acquiring the plurality of low-resolution images;
A procedure for calculating a plurality of conditional expressions necessary to prevent a contradiction between the acquired low resolution image, a model of an imaging process, and the output high resolution image;
Providing a reliability represented by a numerical value to each of the plurality of conditional expressions, and performing ordering so that the conditional expressions provided with a high reliability are arranged from the rear of the order;
An initial image is generated from the low-resolution image, and a procedure for generating an output high-resolution image by sequentially modifying the initial image so as to satisfy the conditional expression according to the ordering is recorded as a program. A recording medium for recording a program for generating a high-resolution image.
JP2006094357A 2006-03-30 2006-03-30 Image enlarging apparatus for generating a high resolution image, image enlarging method thereof, and recording medium recording the image enlarging program Active JP4714062B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006094357A JP4714062B2 (en) 2006-03-30 2006-03-30 Image enlarging apparatus for generating a high resolution image, image enlarging method thereof, and recording medium recording the image enlarging program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006094357A JP4714062B2 (en) 2006-03-30 2006-03-30 Image enlarging apparatus for generating a high resolution image, image enlarging method thereof, and recording medium recording the image enlarging program

Publications (2)

Publication Number Publication Date
JP2007272334A JP2007272334A (en) 2007-10-18
JP4714062B2 true JP4714062B2 (en) 2011-06-29

Family

ID=38675112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006094357A Active JP4714062B2 (en) 2006-03-30 2006-03-30 Image enlarging apparatus for generating a high resolution image, image enlarging method thereof, and recording medium recording the image enlarging program

Country Status (1)

Country Link
JP (1) JP4714062B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5042954B2 (en) * 2008-09-19 2012-10-03 シャープ株式会社 Image generating apparatus, image generating method, image generating program, and computer-readable recording medium recording the program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149477A (en) * 1994-11-22 1996-06-07 Sony Corp Image encoding device and image decoding device
JPH08263639A (en) * 1995-03-09 1996-10-11 Eastman Kodak Co Method and apparatus for generation of high-resolution imagefrom series of low-resolution images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149477A (en) * 1994-11-22 1996-06-07 Sony Corp Image encoding device and image decoding device
JPH08263639A (en) * 1995-03-09 1996-10-11 Eastman Kodak Co Method and apparatus for generation of high-resolution imagefrom series of low-resolution images

Also Published As

Publication number Publication date
JP2007272334A (en) 2007-10-18

Similar Documents

Publication Publication Date Title
JP5837572B2 (en) Image processing apparatus, image processing method, computer program for image processing, and recording medium
JP5497066B2 (en) Method, apparatus and program for reducing noise contained in video
JP4317586B2 (en) IMAGING PROCESSING DEVICE, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND COMPUTER PROGRAM
JP5243833B2 (en) Image signal processing circuit, image display device, and image signal processing method
JP4317587B2 (en) IMAGING PROCESSING DEVICE, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND COMPUTER PROGRAM
JP6236259B2 (en) Image processing apparatus, image processing method, and image processing program
US8098962B2 (en) Signal processing method, apparatus, and program
US20120213452A1 (en) Image processing apparatus, image processing method, computer program and imaging apparatus
US20100067818A1 (en) System and method for high quality image and video upscaling
US8903195B2 (en) Specification of an area where a relationship of pixels between images becomes inappropriate
JP2009194896A (en) Image processing device and method, and imaging apparatus
KR20030059399A (en) Video browsing systme based on mosaic image
JP6554253B2 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM
JP2008091979A (en) Image quality improving device, method thereof, and image display device
JP2010034696A (en) Resolution converting device, method, and program
JP2004234624A (en) Static image generating device, static image generating method, static image generating program and recording medium with static image generating program recorded
JPWO2011018878A1 (en) Image processing system, image processing method, and image processing program
JP2006067541A (en) Video converting apparatus and method, and recording medium
JP5095263B2 (en) Image evaluation apparatus and image evaluation program
JP4714062B2 (en) Image enlarging apparatus for generating a high resolution image, image enlarging method thereof, and recording medium recording the image enlarging program
JPWO2017203941A1 (en) IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM
JP2009140393A (en) Video processing device, video display device, video processing method and video display method
US20120038646A1 (en) Image processing apparatus and image processing method
CN112241670B (en) Image processing method and device
JP2013126123A (en) Image processing device, imaging apparatus, and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110325

R151 Written notification of patent or utility model registration

Ref document number: 4714062

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140401

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313121

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250