JP4686388B2 - Image enlarging apparatus and image enlarging method - Google Patents
Image enlarging apparatus and image enlarging method Download PDFInfo
- Publication number
- JP4686388B2 JP4686388B2 JP2006077088A JP2006077088A JP4686388B2 JP 4686388 B2 JP4686388 B2 JP 4686388B2 JP 2006077088 A JP2006077088 A JP 2006077088A JP 2006077088 A JP2006077088 A JP 2006077088A JP 4686388 B2 JP4686388 B2 JP 4686388B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- difference
- reference frame
- estimated
- high resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 53
- 238000004364 calculation method Methods 0.000 claims description 96
- 238000006073 displacement reaction Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000002441 reversible effect Effects 0.000 description 6
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
Description
本発明は、画像拡大装置及び画像拡大方法に関する。 The present invention relates to an image enlargement apparatus and an image enlargement method.
近年、テレビ、パーソナルコンピュータ用ディスプレイ、プリンタといった映像や画像を出力する機器について画素密度が増加しており、これらの機器用に低解像度画像を鮮鋭な高解像度画像に変換して出力させるための画像拡大装置が提案されている。 In recent years, pixel density has increased for devices that output video and images, such as televisions, personal computer displays, and printers. Images for converting low-resolution images to sharp high-resolution images for these devices are output. Enlarging devices have been proposed.
このような画像拡大装置として、非特許文献1は、先ず被写体に変形の生じた複数の低解像度画像を入力し、これらの低解像度画像のうち拡大する対象となる画像を基準画像とし残りの画像を参照画像とする。続いて基準画像と参照画像との間の変形値を算出する。次に、基準画像から仮に推定した高解像度画像を生成して、これと参照画像との差分画像を算出する。そして差分画像を逆変形して仮に推定した高解像度画像に加算する処理を繰り返すことで、高解像度画像の画素値を決定し高解像度画像を生成するものが記載されている。
上述した従来の画像拡大装置は、被写体の変形モデルが、可逆なAffine変形で表現できないような、複雑な変形である場合や連続する画像の中でオクルージョン領域が存在する場合、高解像度化ができないという問題があった。 The conventional image enlarging apparatus described above cannot increase the resolution when the deformation model of the subject is a complex deformation that cannot be expressed by a reversible Affine deformation or when an occlusion area exists in continuous images. There was a problem.
本発明は、上記従来技術の問題点を解決するためになされたものであって、被写体の変形モデルが、可逆なAffine変形のような変形でない場合やオクルージョン領域が存在する場合でも、高解像度化を可能とする画像拡大装置及び画像拡大方法を提供することを目的とする。 The present invention has been made in order to solve the above-described problems of the prior art, and it is possible to increase the resolution even when the deformation model of the subject is not a deformation such as a reversible Affine deformation or an occlusion area exists. An object of the present invention is to provide an image enlarging apparatus and an image enlarging method that enable the above.
上記目的を達成するために、本発明の画像拡大装置は、
複数のフレームのうち一つを高解像度化するための基準となる基準フレーム、残りのフレームを参照フレームとして入力され、前記基準フレームの各画素から前記参照フレームへの第1の位置ずれ量を、画素値を比較して算出する第1の位置ずれ量算出手段と、
複数のフレームのうち一つを高解像度化するための基準となる基準フレーム、残りのフレームを参照フレームとして入力され、前記参照フレームの各画素から前記基準フレームへの第2の位置ずれ量を、画素値を比較して算出する第2の位置ずれ量算出手段と、
前記基準フレームを用いて仮の推定高解像度フレームを生成する仮の推定高解像度フレーム生成手段と、
前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出する差分フレーム算出手段と、
前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームに加算して推定高解像度フレームを生成する差分加算手段と、を具備することを特徴とする画像拡大装置を提供する。
In order to achieve the above object, an image enlarging apparatus of the present invention includes:
A reference frame as a reference for increasing the resolution of one of a plurality of frames, the remaining frame is input as a reference frame, and a first positional shift amount from each pixel of the reference frame to the reference frame, A first misregistration amount calculating means for calculating and comparing pixel values;
A reference frame serving as a reference for increasing the resolution of one of a plurality of frames, the remaining frame is input as a reference frame, and a second positional shift amount from each pixel of the reference frame to the reference frame, A second misregistration amount calculating means for calculating and comparing pixel values;
A temporary estimated high resolution frame generating means for generating a temporary estimated high resolution frame using the reference frame;
A motion compensation frame is generated from the provisional estimated high-resolution frame using the second positional shift amount, and a motion compensation frame is reduced to generate an estimated reference frame corresponding to the reference frame. The reference frame and the estimated reference frame Difference frame calculation means for calculating a difference frame between and
Difference addition means for generating a motion compensation frame from the difference frame using the first misregistration amount, expanding the frame and adding it to the temporary estimated high resolution frame to generate an estimated high resolution frame; An image enlarging apparatus is provided.
このとき、前記差分フレーム算出手段は、前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成する代わりに、前記推定高解像度フレームを縮小した後に、前記第2の位置ずれ量を用いて動き補償フレームを生成してこれを推定参照フレームとしてもよい。 At this time, the difference frame calculation means generates a motion compensation frame from the temporary estimated high resolution frame using the second positional shift amount, and reduces the reduced frame to generate an estimated reference frame corresponding to the reference frame Instead, after the estimated high-resolution frame is reduced, a motion compensation frame may be generated using the second displacement amount, and this may be used as the estimated reference frame.
また、前記差分加算手段は、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームを生成する代わりに、前記差分フレームを拡大した後に、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成してこれを前記推定高解像度フレームとしてもよい。 Further, the difference adding means generates a motion compensation frame from the difference frame using the first positional deviation amount and expands the generated frame to generate the provisional estimated high resolution frame. After the enlargement, a motion compensation frame may be generated from the difference frame using the first displacement amount, and this may be used as the estimated high resolution frame.
また、前記推定高解像度フレームを前記差分フレーム算出部に入力し、前記第2の位置ずれ量を用いて前記推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出し、この差分フレームと前記第1の位置ずれ量を用いて動き補償フレームを生成しこれを拡大して前記推定高解像度フレームに加算してさらに推定高解像度フレームを生成するようにしてもよい。 Further, the estimated high resolution frame is input to the difference frame calculation unit, a motion compensation frame is generated from the estimated high resolution frame using the second positional shift amount, and the frame is reduced to correspond to the reference frame. An estimated reference frame is generated, a difference frame between the reference frame and the estimated reference frame is calculated, a motion compensation frame is generated using the difference frame and the first positional deviation amount, and is expanded. An estimated high resolution frame may be generated by adding to the estimated high resolution frame.
また、本発明は、複数のフレームのうち一つを高解像度化するための基準となる基準フレーム、残りのフレームを参照フレームとして入力され、前記基準フレームの各画素から前記参照フレームへの第1の位置ずれ量を、画素値を比較して算出する第1の位置ずれ量算出手段と、
複数のフレームのうち一つを高解像度化するための基準となる基準フレーム、残りのフレームを参照フレームとして入力され、前記参照フレームの各画素から前記基準フレームへの第2の位置ずれ量を、画素値を比較して算出する第2の位置ずれ量算出手段と、
前記基準フレームを用いて仮の推定高解像度フレームを生成する仮の推定高解像度フレーム生成手段と、
前記第1の位置ずれ量と前記第2の位置ずれ量を用いて、前記基準フレームから前記参照フレームへの対応点がない第1のオクルージョン領域と、前記参照フレームから前記基準フレームへの対応点がない第2のオクルージョン領域を算出するオクルージョン領域算出手段と、
前記第1及び第2のオクルージョン領域ではない領域において、前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出する差分フレーム算出手段と、
前記第1及び第2のオクルージョン領域ではない領域において、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームに加算して推定高解像度フレームを生成する差分加算手段と、を具備することを特徴とする画像拡大装置を提供する。
In the present invention, a reference frame serving as a reference for increasing the resolution of one of a plurality of frames is input as a reference frame, and the remaining frames are input as reference frames. First misregistration amount calculating means for calculating the misregistration amount by comparing pixel values;
A reference frame serving as a reference for increasing the resolution of one of a plurality of frames, the remaining frame is input as a reference frame, and a second positional shift amount from each pixel of the reference frame to the reference frame, A second misregistration amount calculating means for calculating and comparing pixel values;
A temporary estimated high resolution frame generating means for generating a temporary estimated high resolution frame using the reference frame;
A first occlusion area where there is no corresponding point from the base frame to the reference frame, and a corresponding point from the reference frame to the base frame, using the first positional shift amount and the second positional shift amount An occlusion area calculating means for calculating a second occlusion area having no
In a region that is not the first and second occlusion regions, a motion compensation frame is generated from the provisional estimated high resolution frame using the second positional shift amount, and the motion compensation frame is reduced and estimated corresponding to the reference frame Difference frame calculation means for generating a reference frame and calculating a difference frame between the reference frame and the estimated reference frame;
In a region that is not the first and second occlusion regions, a motion compensation frame is generated from the difference frame using the first displacement amount, and is expanded and added to the temporary estimated high resolution frame. An image enlarging apparatus comprising: a difference adding unit that generates an estimated high resolution frame.
このとき、前記差分フレーム算出手段は、前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成する代わりに、前記推定高解像度フレームを縮小した後に、前記第2の位置ずれ量を用いて動き補償フレームを生成してこれを推定参照フレームとしてもよい。 At this time, the difference frame calculation means generates a motion compensation frame from the temporary estimated high resolution frame using the second positional shift amount, and reduces the reduced frame to generate an estimated reference frame corresponding to the reference frame Instead, after the estimated high-resolution frame is reduced, a motion compensation frame may be generated using the second displacement amount, and this may be used as the estimated reference frame.
また、前記差分加算手段は、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームを生成する代わりに、前記差分フレームを拡大した後に、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成してこれを前記推定高解像度フレームとしてもよい。 Further, the difference adding means generates a motion compensation frame from the difference frame using the first positional deviation amount and expands the generated frame to generate the provisional estimated high resolution frame. After the enlargement, a motion compensation frame may be generated from the difference frame using the first displacement amount, and this may be used as the estimated high resolution frame.
また、前記推定高解像度フレームを前記差分フレーム算出部に入力し、前記第2の位置ずれ量を用いて前記推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出し、この差分フレームと前記第1の位置ずれ量を用いて動き補償フレームを生成しこれを拡大して前記推定高解像度フレームに加算してさらに推定高解像度フレームを生成するようにしてもよい。 Further, the estimated high resolution frame is input to the difference frame calculation unit, a motion compensation frame is generated from the estimated high resolution frame using the second positional shift amount, and the frame is reduced to correspond to the reference frame. An estimated reference frame is generated, a difference frame between the reference frame and the estimated reference frame is calculated, a motion compensation frame is generated using the difference frame and the first positional deviation amount, and is expanded. An estimated high resolution frame may be generated by adding to the estimated high resolution frame.
また、本発明は、複数のフレームのうち一つを高解像度化するための基準となる基準フレーム、残りのフレームを参照フレームとして入力するステップと、
第1の位置ずれ量算出手段にて、前記基準フレームの各画素から前記参照フレームへの第1の位置ずれ量を、画素値を比較して算出するステップと、
第2の位置ずれ量算出手段にて、前記参照フレームの各画素から前記基準フレームへの第2の位置ずれ量を、画素値を比較して算出するステップと、
仮の推定高解像度フレーム生成手段にて、前記基準フレームを用いて仮の推定高解像度フレームを生成するステップと、
差分フレーム算出手段にて、前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出するステップと、
差分加算手段にて、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームに加算して推定高解像度フレームを生成するステップと、を具備することを特徴とする画像拡大方法を提供する。
The present invention also includes a step of inputting a reference frame as a reference for increasing the resolution of one of a plurality of frames, and the remaining frames as reference frames;
Calculating a first displacement amount from each pixel of the base frame to the reference frame by comparing pixel values with a first displacement amount calculation unit;
A second misregistration amount calculation means for calculating a second misregistration amount from each pixel of the reference frame to the base frame by comparing pixel values;
In the temporary estimated high resolution frame generating means, generating a temporary estimated high resolution frame using the reference frame;
In the difference frame calculation means, a motion compensation frame is generated from the temporary estimated high resolution frame using the second misregistration amount, and this is reduced to generate an estimated reference frame corresponding to the reference frame, Calculating a difference frame between a reference frame and the estimated reference frame;
A step of generating an estimated high resolution frame by generating a motion compensation frame from the difference frame using the first misregistration amount, adding the motion compensation frame to the provisional estimated high resolution frame by the difference adding means; And an image enlarging method.
また、本発明は、複数のフレームのうち一つを高解像度化するための基準となる基準フレーム、残りのフレームを参照フレームとして入力するステップと、
第1の位置ずれ量算出手段にて、前記基準フレームの各画素から前記参照フレームへの第1の位置ずれ量を、画素値を比較して算出するステップと、
第2の位置ずれ量算出手段にて、前記参照フレームの各画素から前記基準フレームへの第2の位置ずれ量を、画素値を比較して算出するステップと、
仮の推定高解像度フレーム生成手段にて、前記基準フレームを用いて仮の推定高解像度フレームを生成するステップと、
オクルージョン領域算出手段にて、前記第1の位置ずれ量と前記第2の位置ずれ量を用いて、前記基準フレームから前記参照フレームへの対応点がない第1のオクルージョン領域と、前記参照フレームから前記基準フレームへの対応点がない第2のオクルージョン領域を算出するステップと、
差分フレーム算出手段にて、前記第1及び第2のオクルージョン領域ではない領域において、前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出するステップと、
差分加算手段にて、前記第1及び第2のオクルージョン領域ではない領域において、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームに加算して推定高解像度フレームを生成するステップと、を具備することを特徴とする画像拡大装置を提供する。
The present invention also includes a step of inputting a reference frame as a reference for increasing the resolution of one of a plurality of frames, and the remaining frames as reference frames;
Calculating a first displacement amount from each pixel of the base frame to the reference frame by comparing pixel values with a first displacement amount calculation unit;
A second misregistration amount calculation means for calculating a second misregistration amount from each pixel of the reference frame to the base frame by comparing pixel values;
In the temporary estimated high resolution frame generating means, generating a temporary estimated high resolution frame using the reference frame;
In the occlusion area calculation means, the first occlusion area having no corresponding point from the reference frame to the reference frame using the first positional deviation amount and the second positional deviation amount, and the reference frame Calculating a second occlusion region having no corresponding point to the reference frame;
The difference frame calculation means generates a motion compensation frame from the temporary estimated high resolution frame using the second positional deviation amount in an area that is not the first and second occlusion areas, and reduces the frame. Generating an estimated reference frame corresponding to the reference frame and calculating a difference frame between the reference frame and the estimated reference frame;
The difference adding means generates a motion compensation frame from the difference frame using the first positional deviation amount in an area that is not the first and second occlusion areas, and expands the motion compensation frame to increase the temporary estimated height. And a step of generating an estimated high resolution frame by adding to the resolution frame.
本発明によれば、基準フレームの各画素から参照フレームへの第1の位置ずれ量を、画素値を比較して算出し、さらに参照フレームの各画素から基準フレームへの第2の位置ずれ量を、画素値を比較して算出しているので、可逆なAffine変形のような変形ではないような複雑な場合でも高画質な高解像度化を実現できる。また、予めオクルージョンが生じるような領域を算出して、オクルージョンが生じない領域を対象として処理するので、オクルージョンが生じるような、可逆でない変形をする被写体でも、高画質な高解像度化を実現できる。 According to the present invention, the first positional deviation amount from each pixel of the reference frame to the reference frame is calculated by comparing the pixel values, and the second positional deviation amount from each pixel of the reference frame to the reference frame is further calculated. Is calculated by comparing pixel values, so that high resolution with high image quality can be realized even in complicated cases such as reversible Affine deformation. In addition, since an area where occlusion occurs is calculated in advance, and the area where no occlusion occurs is processed, it is possible to achieve high image quality and high resolution even with a subject that is not reversible and causes occlusion.
以下、本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described.
(第1の実施形態)
図1は、本発明の第1の実施形態に係わる画像拡大装置を示すブロック図である。
(First embodiment)
FIG. 1 is a block diagram showing an image enlargement apparatus according to the first embodiment of the present invention.
この第1の実施形態に係わる画像拡大装置は、複数のフレームを入力するフレーム入力部101と、高解像度化の基準となる基準フレームの各画素から参照フレームへの第1の位置ずれ量を算出する第1の位置ずれ量算出部102と、参照フレームの各画素から基準フレームへの第2の位置ずれ量を算出する第2の位置ずれ量算出部103と、基準フレームから仮の推定高解像度フレームを生成する仮の推定高解像度フレーム生成部108と、この仮の推定高解像度フレームから第2の位置ずれ量を用いて変形・縮小して複数の推定参照フレームを生成し、参照フレームと推定参照フレームとの複数の差分フレームを算出する差分フレーム算出部104と、第1の位置ずれ量を用いて前記差分フレームを拡大・変形して仮の推定高解像度フレームに加算する差分加算部105とを備えている。
The image enlargement apparatus according to the first embodiment calculates a first positional shift amount from each pixel of a reference frame serving as a reference for high resolution to a reference frame, and a
フレーム入力部101は、複数の低解像度画像のフレームを入力する手段である。ここで低解像度画像としたのは、この後高解像度化されるためである。参照フレーム入力部101からは、複数のフレームが入力され、これら複数のフレームのうち一つを高解像度化するための基準となる基準参照フレームとし、残りのフレームを高解像度化に用いられる参照フレームとして入力される。
The
例えば、参照フレームは、現行テレビコンテンツのNTSCサイズをデジタル化したVGAサイズ(640×480画素)の時系列画像であったり、PCで再生できるSDサイズの画像データであったり、また、デジタルビデオカメラ、デジタルカメラ、カメラ付き携帯電話といったCCD(Charge Coupled Device)素子等によって撮影された画像列であったり、デジタルズーム時の拡大したい映像領域の一部分であったりする。 For example, the reference frame is a time-series image of VGA size (640 × 480 pixels) obtained by digitizing the NTSC size of the current television content, image data of SD size that can be played back on a PC, or a digital video camera It may be an image sequence photographed by a CCD (Charge Coupled Device) element such as a digital camera or a camera-equipped mobile phone, or may be a part of an image area to be enlarged during digital zoom.
第1の位置ずれ量算出部102は、フレーム入力部101で入力された、高解像度化の基準となる基準フレームの各画素から、残りの参照フレームへの位置ずれ量(第1の位置ずれ量)を、画素値を比較してどれだけ位置ずれしているかを小数精度、つまりサブピクセル精度まで算出する。
The first misregistration
第2の位置ずれ量算出部103は、フレーム入力部101で入力された、参照フレームの各画素から、高解像度化の基準となる基準参照フレームへの位置ずれ量(第2の位置ずれ量)を、画素値を比較してどれだけ位置ずれしているかを、同じく少数制度、つまりサブピクセル精度まで算出する。
The second misregistration
これら第1の位置ずれ量算出部102と第2の位置ずれ量算出部103とで、変形推定部106を構成している。
The first misregistration
仮の推定高解像度フレーム生成部108は、フレーム入力部101から入力された基準フレームをとりあえず拡大して、仮の推定高解像度フレームを生成する。この仮の推定高解像度フレームは、高解像度化するための初期値として用いられ、双一次内挿法(Bi−linear補間法)、双3次内挿法(Bi−cubic補間法)、3次畳み込み内挿法(Cubic Convolution補間法)といった一般的な従来の画像補間方法で生成できる。
The temporary estimated high-resolution
差分フレーム算出部104は、仮の推定高解像度フレーム生成部108で生成された仮の推定高解像度フレームを、第2の位置ずれ量算出部103で算出された第2の位置ずれ量を用いて変形・縮小して複数の推定参照フレームを生成し、フレーム入力部101で入力された参照フレームとこの推定参照フレームとの複数の差分フレームを算出する。ここで変形・縮小とは、第2の位置ずれ量を用いて仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して推定参照フレームを生成することを言う。ただし、この代わりに、推定高解像度フレームを縮小した後に、第2の位置ずれ量を用いて動き補償フレームを生成してこれを推定参照フレームとしてもよい。
The difference
差分加算部105は、第1の位置ずれ量算出部103で算出された第1の位置ずれ量を用いて、差分フレーム算出部104で算出された差分フレームを拡大・変形して仮の推定高解像度フレームに加算し、仮の推定高解像度フレームを更新する。ここで拡大・変形とは、第1の位置ずれ量を用いて差分フレームから動き補償フレームを生成しこれを拡大して仮の推定高解像度フレームに加算して推定高解像度フレームを生成することを言う。ただし、この代わりに、差分フレームを拡大した後に、第1の位置ずれ量を用いて差分フレームから動き補償フレームを生成してこれを推定高解像度フレームとしてもよい。
The
これら差分フレーム算出部104と差分加算部105により高解像度化部107が構成されている。
The difference
なお、高解像度化部107では、推定高解像度フレームを差分フレーム算出部104に入力し、第2の位置ずれ量を用いて推定高解像度フレームから動き補償フレームを生成しこれを縮小して参照フレームに対応する推定参照フレームを生成し、参照フレームと推定参照フレームとの間の差分フレームを算出し、差分か三部105にて、この差分フレームと第1の位置ずれ量を用いて動き補償フレームを生成しこれを拡大して推定高解像度フレームに加算してさらに推定高解像度フレームを生成するということを繰り返し行って、解像度化を行っている。
Note that the resolution enhancement unit 107 inputs the estimated high resolution frame to the difference
図2は、本発明の第1の実施形態に係わる画像拡大装置の動作を説明するフローチャートである。図1及び図2を用いて、本発明の第1の実施形態に係わる画像拡大装置の動作について説明する。 FIG. 2 is a flowchart for explaining the operation of the image enlargement apparatus according to the first embodiment of the present invention. The operation of the image enlargement apparatus according to the first embodiment of the present invention will be described with reference to FIGS.
先ず、図1、図2に示すように、フレーム入力部101から複数の低解像度画像であるフレームが入力される。この複数のフレームのうち一つが高解像度化するための基準となる基準フレームであり、残りは、基準フレームの参照として用いる参照フレームである。
First, as shown in FIGS. 1 and 2, a plurality of frames that are low-resolution images are input from the
次に、第1の位置ずれ量算出部102が、フレーム入力部101から入力された基準フレームの各画素から、残りの参照フレームへどれだけ位置ずれしているかを小数精度、つまりサブピクセル精度まで算出する(ステップS201)。
Next, the first misregistration
この様子を、図3を用いて説明する。図3は、4枚のフレーム1、2、3、4のうち、1枚を基準フレーム3とし、残りを参照フレーム1、2、4としている図である。
This will be described with reference to FIG. FIG. 3 is a diagram in which one of the four
図3に示すように、基準フレーム3の格子状に整数画素単位で配列されている各画素が、参照フレーム1、参照フレーム2、参照フレーム4のそれぞれに、どれだけ位置ずれしているかを、画措置を比較することによってサブピクセル精度まで算出する。
As shown in FIG. 3, how much each pixel arranged in an integer pixel unit in the grid pattern of the base frame 3 is displaced with respect to each of the
具体的には、基準フレーム3の各画素を中心として、7×7画素といったブロックを配置する。続いて、画素精度、つまり、整数精度で、基準フレーム3内のブロックと、対象としている参照フレーム1、2、4内の候補ブロックとの間の類似度を算出する。
Specifically, a block of 7 × 7 pixels is arranged around each pixel of the reference frame 3. Subsequently, the similarity between the block in the reference frame 3 and the candidate block in the
フレーム間の類似度として、ここでは、ブロック内の画素値の差の2乗和であるSSD(Sum of Square Distance)を用いる。参照フレーム1、2、4内の候補ブロックの整数精度での位置をずらしながら類似度を算出し、整数精度の類似度マップを算出する。最も類似している(類似度がSSDの場合、SSDが最小の)整数精度の位置ずれ量の周りで、対称な連続関数、例えば放物線を当てはめる。
As the similarity between frames, here, SSD (Sum of Square Distance), which is the sum of squares of pixel value differences in a block, is used. The similarity is calculated while shifting the positions of the candidate blocks in the
図4は、この様子を示したグラフである。縦軸が類似度、横軸が整数制度位置ずれ量を示している。 FIG. 4 is a graph showing this state. The vertical axis represents the similarity, and the horizontal axis represents the integer system positional deviation amount.
図4に示すように、白矢印で示す推定されたサブピクセル精度の位置ずれ量の位置から最も類似するブロックは、サブピクセル精度での位置ずれ量が、整数精度の離散的な類似度マップに当てはめた放物線の頂点の位置として表される。画像は2次元であるので、縦方向、横方向、独立に前記位置ずれ量算出処理を施したり、放物面を当てはめたりすることで、2次元の位置ずれ量が算出できる。 As shown in FIG. 4, the most similar block from the position of the estimated displacement amount with subpixel accuracy indicated by the white arrow indicates that the displacement amount with subpixel accuracy has a discrete similarity map with integer accuracy. Expressed as the apex position of the fitted parabola. Since the image is two-dimensional, a two-dimensional positional shift amount can be calculated by performing the positional shift amount calculation process independently in the vertical direction and the horizontal direction, or by applying a paraboloid.
図4では、白矢印で示す位置から最も類似するブロックはnである。 In FIG. 4, the most similar block from the position indicated by the white arrow is n.
基準参照フレーム内のすべての画素について、全ての参照フレームとの間での位置ずれ算出処理を行うことで、高解像度化の基準となる基準参照フレームと参照フレーム間でのサブピクセル精度での位置ずれ量を算出できる。 For all pixels in the standard reference frame, the position deviation calculation process between all the reference frames is performed, and the position with sub-pixel accuracy between the standard reference frame and the reference frame, which is the standard for high resolution. The amount of deviation can be calculated.
ここでは、位置ずれ量の算出単位として、全画素が独立に位置ずれ成分を持つデンスオプティカルフロー(最も密度が大きい)によって位置ずれ量を表現したが、フレーム内の全画素が同じ位置ずれ量である全画面動きを持つ全画面動きとして表現しても良く、ブロック単位や被写体オブジェクト単位でも良い。 Here, as a unit for calculating the positional deviation amount, the positional deviation amount is expressed by a dense optical flow (the highest density) in which all pixels have independent positional deviation components. However, all the pixels in the frame have the same positional deviation amount. It may be expressed as a full screen motion having a certain full screen motion, and may be a block unit or a subject object unit.
また、ここでは、サブピクセル精度の位置ずれ量の算出方法として、整数精度での類似度を位置ずれ量の算出単位内での画素値の差の2乗和によって求め、整数精度の類似度に放物線を当てはめることでサブピクセル精度の位置ずれ量を算出する方法を説明したが、整数精度での類似度は、輝度差の2乗和だけでなく、輝度差の絶対値和や正規化相互相関といった従来の画像間の類似度を用いても良い。 Further, here, as a method of calculating the positional deviation amount with sub-pixel accuracy, the similarity with integer accuracy is obtained by the sum of squares of the pixel value differences within the unit of calculating the positional deviation, and the similarity with integer accuracy is obtained. The method of calculating the amount of subpixel accuracy displacement by applying a parabola was explained, but the similarity in integer accuracy is not only the sum of squares of the luminance difference, but also the absolute value sum of the luminance difference and the normalized cross-correlation A conventional similarity between images may be used.
また、類似度の補間方法は、放物線当てはめだけでなく、等角直線当てはめや他の対称な関数を用いても良い。 The similarity interpolation method may use not only parabolic fitting but also equiangular straight line fitting and other symmetric functions.
また、サブピクセル精度の位置ずれ量の算出は、整数精度での類似度に対称な関数を当てはめて補間する方法だけでなく、濃度勾配法や、画像自体を補間拡大して類似度を算出する方法、FFTを利用する方法、特徴点を抽出する方法など、既存のサブピクセル精度の位置ずれ算出法を用いても良い。 In addition, the calculation of the positional deviation amount with sub-pixel accuracy is not only a method of interpolating by applying a symmetric function to the similarity with integer accuracy, but also calculating the similarity by density gradient method or interpolation enlargement of the image itself. An existing subpixel-accurate position deviation calculation method such as a method, a method using FFT, or a method for extracting feature points may be used.
また、ここでは、複数の低解像度画像である参照フレーム間での位置ずれ量を算出したため、算出されたデンスオプティカルフローは、低解像度画像の画素単位に算出された。画像の高解像度化処理のためには、高解像度画像の画素単位でのデンスオプティカルフローが必要であり、予め、それぞれの参照フレームを、双一次内挿法(Bi−linear補間法)、双3次内挿法(Bi−cubic補間法)、3次畳み込み内挿法(Cubic Convolution補間法)といった一般的な従来の画像補間方法で高解像度画像のサイズまで拡大して位置ずれ量を算出したり、低解像後画像の画素単位で算出された位置ずれ量を補間したりすることで、高解像度画像の画素単位でのデンスオプティカルフローを得ることができる。 Here, since the amount of positional deviation between reference frames, which are a plurality of low-resolution images, is calculated, the calculated dense optical flow is calculated for each pixel of the low-resolution image. In order to increase the resolution of an image, a dense optical flow in units of pixels of the high-resolution image is necessary. Each reference frame is preliminarily obtained by bilinear interpolation (Bi-linear interpolation), bi-3. The displacement amount is calculated by enlarging to the size of a high resolution image by a general conventional image interpolation method such as a secondary interpolation method (Bi-cubic interpolation method) or a cubic convolution interpolation method (Cubic Convolution interpolation method). In addition, by interpolating the amount of displacement calculated for each pixel of the low-resolution image, a dense optical flow can be obtained for each pixel of the high-resolution image.
次に、図1、図2に示すように、第2の位置ずれ量算出部103が、参照フレームの各画素から、高解像度化の基準となる基準参照フレームへどれだけ位置ずれしているかをサブピクセル精度で算出する(ステップS202)。
Next, as shown in FIGS. 1 and 2, how much the second displacement
図5は、図3で説明したもとのとは逆に、低解像度の3枚の参照フレーム1、参照フレーム2、参照フレーム4から基準フレーム3への位置ずれ量を、画素値を比較することによって算出する例を説明した図である。
FIG. 5 compares pixel values of the amount of positional deviation from three
参照フレーム1、参照フレーム2、参照フレーム4のそれぞれに格子状に整数画素単位で配列されている各画素が、どれだけ基準フレーム3へ位置ずれしているかを、画素値を比較してサブピクセル精度まで算出する。具体的な算出方法は、第1の位置ずれ量算出部102と同様の方法で算出することができる。
Subpixels are compared by comparing pixel values with respect to how much each pixel arranged in an integer pixel unit in the
ここで、第2の位置ずれ量を算出するときにその探索範囲の初期値として第1の位置ずれ量算出部102で算出された第1の位置ずれ量を用いたり、この第1の位置ずれ量を利用して第2の位置ずれ量を算出するときの探索範囲を制限したりすることで、第2の位置ずれ量の算出を高速に行うことが可能になる。
Here, when calculating the second misregistration amount, the first misregistration amount calculated by the first misregistration
次に図1、2に示すように、フレーム入力部101から入力された基準フレームから、仮の推定高解像度フレーム生成部108にて、仮の推定高解像度フレームを生成する。次に、差分フレーム算出部104が、第2の位置ずれ量を用いて仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前期参照フレームに対応する推定参照フレームを生成し、参照フレームと推定参照フレームとの間の差分フレームを算出する。
Next, as shown in FIGS. 1 and 2, a temporary estimated high resolution frame is generated by a temporary estimated high resolution
図6は、この様子を説明するための図である。 FIG. 6 is a diagram for explaining this situation.
図6に示すように、仮の推定高解像度フレーム生成部108が仮の推定高解像度フレームを生成し、差分フレーム算出部104が、この仮の推定高解像度フレームを、第2の位置ずれ量算出部103で算出された第2の位置ずれ量を用いて変形・縮小して複数の推定参照フレームを生成し、フレーム入力部101で入力された参照フレーム1、2、3(ここでは基準フレーム3も参照フレームとして用いる)4と推定参照フレームとの複数の差分フレーム1、2、3、4を算出する(ステップS203)。
As illustrated in FIG. 6, the temporary estimated high resolution
推定高解像度フレームは、高解像度化処理の初めには、仮の推定高解像度フレーム(初期値)として、基準フレーム3を、従来の内挿方法である双一次内挿法(Bi−linear補間法)、双3次内挿法(Bi−cubic補間法)、3次畳み込み内挿法(Cubic Convolution補間法)といった一般的な画像補間方法によって拡大して生成する。 The estimated high resolution frame is converted into a provisional estimated high resolution frame (initial value) at the beginning of the resolution enhancement process, and the reference frame 3 is converted into a bilinear interpolation method (Bi-linear interpolation method) which is a conventional interpolation method. ), A bicubic interpolation method (Bi-cubic interpolation method), and a cubic convolution interpolation method (Cubic Convolution interpolation method).
この仮の推定高解像度フレームが差分フレーム算出部104と差分加算部105との繰り返し処理によって更新されることで、最終的な出力高解像度フレームが生成される。
The temporary estimated high resolution frame is updated by the iterative process of the difference
推定高解像度フレームは、第2の位置ずれ量算出部103で算出された第2の位置ずれ量を用いて変形・縮小される。変形処理は、第2の位置ずれ量により、高解像度な参照フレームの各画素から基準フレーム3へのサブピクセル精度の位置ずれ量が分かるので、基準フレーム3内の位置ずれ量の行き先の周りの画素値を双一次内挿法(Bi−linear補間法)で補間することにより、各参照フレームでの高解像度な画素値を決定する。縮小処理は、平均処理をすることで低解像度の各推定参照フレームが生成される。
The estimated high-resolution frame is deformed / reduced using the second positional deviation amount calculated by the second positional deviation
それぞれの参照フレームに対応する差分フレームは、フレーム入力部101で入力された参照フレームと推定参照フレームとの各画素を差分することで生成される。この差分フレームは、推定高解像度フレームから生成される推定参照フレームと、実際に観測・撮影された参照フレームとの誤差を示しており、誤差が小さいほど、推定高解像度フレームが高精度に推定されていることを示す。
The difference frame corresponding to each reference frame is generated by subtracting each pixel of the reference frame input from the
次に、図1、図2に示すように、差分加算部105は、第1の位置ずれ量算出部102で算出された第1の位置ずれ量を用いて、差分フレーム算出部104で算出された差分フレームを拡大・変形して仮の推定高解像度フレームに加算し、仮の推定高解像度フレームを更新する(ステップS204)。
Next, as shown in FIGS. 1 and 2, the
差分フレームの拡大処理は、従来の内挿方法である双一次内挿法(Bi−linear補間法)、双3次内挿法(Bi−cubic補間法)、3次畳み込み内挿法(Cubic Convolution補間法)といった一般的な画像補間方法を用いる。変形処理は、第1の位置ずれ量により、高解像度な基準フレームの各画素から参照フレームへのサブピクセル精度の位置ずれ量が分かるので、差分フレーム内の位置ずれ量の行き先の周りの画素値を双一次内挿法(Bi−linear補間法)で補間することにより算出される。つまり高解像度な基準フレームの推定高解像度フレームでの更新量(誤差のマイナス)が算出される。この更新量の平均値を、現段階での推定高解像度フレームに加算することで、より高精度な推定高解像度フレームに更新される。 The differential frame enlarging process is performed by bilinear interpolation (Bi-linear interpolation), bicubic interpolation (Bi-cubic interpolation), or cubic convolution (concubation interpolation). A general image interpolation method such as an interpolation method is used. In the deformation process, the first positional deviation amount can be used to determine the positional deviation amount with sub-pixel accuracy from each pixel of the high-resolution base frame to the reference frame. Therefore, the pixel values around the destination of the positional deviation amount in the difference frame Is interpolated by bilinear interpolation (Bi-linear interpolation). That is, the update amount (minus error) of the estimated high resolution frame of the high resolution reference frame is calculated. By adding the average value of the update amounts to the estimated high resolution frame at the current stage, the updated high precision frame is updated.
次に、図1、図2に示すように、高解像度処理が完了していない場合(ステップS205:No)は、差分フレーム算出部104に戻り、差分加算部105で更新された推定高解像度フレームをもとに、第2の位置ずれ量算出部103で算出された第2の位置ずれ量を用いて変形・縮小して複数の推定参照フレームを生成し、フレーム入力部101で入力された参照フレームと推定参照フレームとの複数の差分フレームを算出する処理を繰り返す。
Next, as shown in FIGS. 1 and 2, when the high-resolution processing is not completed (step S <b> 205: No), the process returns to the difference
高解像度化の処理が完了したか否かの判断は、差分フレーム算出部104と差分加算部105の繰り返し処理による高解像度化更新回数が一定数以上実施されたかどうかで判断したり、差分フレームが十分小さくなったかどうかで判断したり、推定高解像度フレームの高周波成分が一定以上になったかどうかで判断することができる。ここでは高解像度化更新回数が20から30回繰り返されたことで終了と判断した。
The determination as to whether or not the resolution enhancement processing has been completed is made based on whether or not the number of times of resolution enhancement updating by the iterative processing of the difference
高解像度化の処理が完了した場合(ステップS205:Yes)は、差分加算部105で更新された推定高解像度フレームを、基準参照フレームの拡大フレームとして出力して処理を終了する。
When the high resolution processing is completed (step S205: Yes), the estimated high resolution frame updated by the
このように、第1の実施形態に係わる画像拡大装置によれば、第2の位置ずれ量を、画素値を比較することで算出することにより、可逆なAffine変形でない変形の場合でも、高画質な高解像度化が可能となる。 As described above, according to the image enlargement apparatus according to the first embodiment, the second positional deviation amount is calculated by comparing the pixel values, so that even in the case of a deformation that is not a reversible Affine deformation, high image quality can be achieved. High resolution can be achieved.
(第2の実施形態)
次に、本発明の第2の実施形態に係わる画像拡大装置を説明する。この画像拡大装置は、第1の位置ずれ量と第2の位置ずれ量を用いてフレーム間での対応点のないオクルージョン領域を算出することで、より、高精度に基準参照フレームの高解像度化を行うものである。
(Second Embodiment)
Next, an image enlarging apparatus according to the second embodiment of the present invention will be described. This image enlarging apparatus calculates the occlusion area having no corresponding point between frames using the first positional deviation amount and the second positional deviation amount, thereby increasing the resolution of the reference reference frame with higher accuracy. Is to do.
図7は、本発明の第2の実施形態に係わる画像拡大装置を示すブロック図である。 FIG. 7 is a block diagram showing an image enlargement apparatus according to the second embodiment of the present invention.
図7に示すように、この画像拡大装置は、オクルージョン領域算出部706を追加したこと、差分フレーム算出部704と、差分加算部705の機能が変更されたことが第1の実施形態と異なっている。その他の構成、および、機能は、第1の実施形態に係わる構成を示すブロック図である図1と同様であるので、同一符号を付し、ここでの説明は省略する。
As shown in FIG. 7, this image enlargement apparatus is different from the first embodiment in that an occlusion
オクルージョン領域算出部706は、第1の位置ずれ量算出部102で画素値を比較して算出された第1の位置ずれ量と、第2の位置ずれ量算出部103で同様に画素値を比較して算出された第2の位置ずれ量を用いて、基準参照フレームから参照フレームへの対応点がないオクルージョン領域と、参照フレームから基準フレームへの対応点がないオクルージョン領域を算出するオクルージョン領域算出手段である。第1の位置ずれ量及び第2の位置ずれ量は第1の実施形態で説明したものと同様に算出される。
The occlusion
差分フレーム算出部704は、オクルージョン領域算出部706で算出されたオクルージョン領域でない領域において、基準フレームから生成された仮の推定高解像度フレームを、第2の位置ずれ量算出部103で算出された第2の位置ずれ量を用いて変形・縮小して複数の推定参照フレームを生成し、参照フレーム入力部101で入力された参照フレームと推定参照フレームとの複数の差分フレームを算出する。オクルージョン領域でない領域で差分フレームを算出する点が第1の実施形態とは相違するが、差分フレームの算出の方法は第1の実施形態と同様である。
The difference
差分加算部705は、オクルージョン領域算出部706で算出されたオクルージョン領域でない領域において、第2の位置ずれ量算出部103で算出された第2の位置ずれ量を用いて、差分フレーム算出部704で算出された差分フレームを拡大・変形して仮の推定高解像度フレームに加算し、仮の推定高解像度フレームを更新する。オクルージョン領域でない領域で差分フレームを拡大・変形を算出する点が第1の実施形態と異なるが、差分フレームを拡大・変形を算出する方法は、第1の実施形態と同様である。
The
次に、図7及び図8を用いて、本発明の第2の実施形態に係わる画像拡大装置の動作について説明する。なお、図8は、本発明の第2の実施形態に係わる画像拡大装置の動作を示すフローチャートである。 Next, the operation of the image enlargement apparatus according to the second embodiment of the present invention will be described with reference to FIGS. FIG. 8 is a flowchart showing the operation of the image enlargement apparatus according to the second embodiment of the present invention.
先ず、図7及び図8に示すように、フレーム入力部101が複数のフレームが入力され、そのうちの1つを基準フレーム、残りを参照フレームとする。
First, as shown in FIG. 7 and FIG. 8, the
次に、第1の位置ずれ量算出部102は、フレーム入力部101で入力された高解像度化の基準となる基準フレームの各画素から、残りの参照フレームへどれだけ位置ずれしているかを、画素値を比較して小数精度、つまりサブピクセル精度まで算出する(ステップS801)。
Next, the first misregistration
次に、第2の位置ずれ量算出部103は、フレーム入力部101で入力された参照フレームの各画素から、高解像度化の基準となる基準フレームへどれだけ位置ずれしているかを、画素値を比較してサブピクセル精度で算出する(ステップS802)。
Next, the second misregistration
次に、オクルージョン領域算出部706は、第1の位置ずれ量算出部102で算出された第1の位置ずれ量と、第2の位置ずれ量算出部103で算出された第2の位置ずれ量を用いて、基準フレームから参照フレームへの対応点がないオクルージョン領域と、参照フレームから基準参照フレームへの対応点がないオクルージョン領域を算出する(ステップS803)。
Next, the occlusion
図9に示すように、オクルージョン領域とは、ある2つのフレーム間において、ある1つのフレームには撮影されているが、残りのフレームには撮影されていない領域のことである。フレームAにおける木の周りの領域(フレームBにおいて車で隠されている領域)であったり、フレームBにおける家の周りの領域(フレームAにおいて車で隠されている領域)であったりする。フレームAからフレームBへの各画素の位置ずれ量(デンスオプティカルフロー)を考えた場合、フレームAのオクルージョン領域(木の周りの領域)における各画素は、フレームB内に対応する点が存在しないため、本来、位置ずれ量は定義できず不定になるべきである。また、同様に、フレームBからフレームAへの各画素の位置ずれ量(デンスオプティカルフロー)を考えた場合、フレームBのオクルージョン領域(家の周りの領域)における各画素は、フレームA内に対応する点が存在しないため、位置ずれ量は不定になるべきである。 As shown in FIG. 9, the occlusion area is an area that is captured in one certain frame but not captured in the remaining frames between two certain frames. It may be an area around a tree in the frame A (an area hidden by a car in the frame B) or an area around a house in the frame B (an area hidden by a car in the frame A). Considering the positional shift amount (dense optical flow) of each pixel from frame A to frame B, each pixel in the occlusion area (area around the tree) of frame A does not have a corresponding point in frame B. For this reason, the amount of misalignment cannot be defined and should be indefinite. Similarly, when considering the positional shift amount (dense optical flow) of each pixel from the frame B to the frame A, each pixel in the occlusion area (area around the house) of the frame B corresponds to the frame A. Since there is no point to perform, the amount of misalignment should be indefinite.
しかし、第1の位置ずれ量算出部102と第2の位置ずれ量算出部103が、第1の位置ずれ量と第2の位置ずれ量を算出する際には、どこがオクルージョン領域であるかという情報は与えられておらず、不定のはずのオクルージョン領域においても、不確かな何らかの位置ずれ量が算出されてしまっている。
However, when the first misregistration
そこで、オクルージョン領域算出部706は、フレームAからフレームBへの対応点がないオクルージョン領域を算出するために、以下の処理をフレームAの全画素について行う。
Therefore, the occlusion
先ず、フレームAからフレームBへの位置ずれ量をもとに、フレームAのある画素PaがフレームB内のどの画素の近くに位置ずれしたかの対応画素Pbを求める。 First, based on the amount of positional deviation from the frame A to the frame B, a corresponding pixel Pb indicating which pixel Pa in the frame A is located near is determined.
次に、このフレームB内の対応画素Pbが、第2の位置ずれ量をもとに、フレームA内のどの画素の近くに位置ずれしたかの対応画素Pa’を求める。第1の位置ずれ量、および、第2の位置ずれ量が正しい場合は、PaとPa’は等しいか、近い点になる。どちらかが正しくない場合は、PaとPa’は異なる位置になる。 Next, the corresponding pixel Pa ′ indicating which pixel in the frame A has been displaced is obtained based on the second displacement amount based on the second displacement amount. When the first positional deviation amount and the second positional deviation amount are correct, Pa and Pa ′ are equal or close to each other. If either is incorrect, Pa and Pa 'are in different positions.
よって、PaとPa’が等しいか、近い点の場合、フレームA内の画素Paは、オクルージョン領域でないと判定し、PaとPa’が異なる位置の場合、フレームA内の画素Paはオクルージョン領域であると判定する。 Therefore, when Pa and Pa ′ are equal or close to each other, it is determined that the pixel Pa in the frame A is not an occlusion area. When Pa and Pa ′ are at different positions, the pixel Pa in the frame A is an occlusion area. Judge that there is.
この処理をフレームA内の全画素に行うことにより、フレームAからフレームBへの対応点がないオクルージョン領域を算出できる。また、同様に、フレームBからフレームAへの対応点がないオクルージョン領域も、フレームBからフレームAへの第2の位置ずれ量をもとに、フレームBのある画素PbがフレームA内のどの画素の近くに位置ずれしたかの対応画素Paを求め、このフレームA内の対応画素Paが、第1の位置ずれ量をもとに、フレームB内のどの画素の近くに位置ずれしたかの対応画素Pb’を求めることで、オクルージョン領域であるかないかを判定できる。 By performing this process on all the pixels in the frame A, an occlusion area having no corresponding point from the frame A to the frame B can be calculated. Similarly, in the occlusion area where there is no corresponding point from frame B to frame A, the pixel Pb in which frame B is located in frame A is determined based on the second positional shift amount from frame B to frame A. The corresponding pixel Pa that is misaligned in the vicinity of the pixel is obtained, and the corresponding pixel Pa in the frame A is located near which pixel in the frame B based on the first misalignment amount. By determining the corresponding pixel Pb ′, it can be determined whether or not it is an occlusion region.
次に、差分フレーム算出部704は、オクルージョン領域算出部706で算出されたオクルージョン領域でない領域において、基準フレームから生成された仮の推定高解像度フレームを、第2の位置ずれ量算出部103で算出された第2の位置ずれ量を用いて変形・縮小して複数の推定参照フレームを生成し、参照フレーム入力部101で入力された参照フレームと推定参照フレームとの複数の差分フレームを算出する(ステップS804)。
Next, the difference
先ず、推定高解像度フレームが、第2の位置ずれ量算出部103で算出された第2の位置ずれ量を用いて変形・縮小される。変形処理は、第2の位置ずれ量により、高解像度な参照フレームの各画素から基準参照フレームへのサブピクセル精度の位置ずれ量が分かるので、基準参照フレーム内の位置ずれ量の行き先の周りの画素値を双一次内挿法(Bi−linear補間法)で補間することにより、各参照フレームでの高解像度な画素値を決定する。
First, the estimated high-resolution frame is deformed / reduced using the second positional deviation amount calculated by the second positional deviation
しかし、オクルージョン領域と判定された画素での第2の位置ずれ量は信頼性が低いために、第2の位置ずれ量を用いた補間は行わず、参照フレーム内の画素をそのままコピーする。 However, since the second misregistration amount at the pixel determined to be the occlusion area is low in reliability, the interpolation using the second misregistration amount is not performed, and the pixel in the reference frame is copied as it is.
縮小処理は、平均処理をすることで低解像度の各推定参照フレームが生成される。それぞれの参照フレームに対応する差分フレームは、フレーム入力部101で入力された参照フレームと推定参照フレームとの各画素を差分することで生成される。この差分フレームは、推定高解像度フレームから生成される推定参照フレームと、実際に観測・撮影された参照フレームとの誤差を示しており、誤差が小さいほど、推定高解像度フレームが高精度に推定されていることを示す。
In the reduction process, each estimated reference frame with a low resolution is generated by performing an averaging process. The difference frame corresponding to each reference frame is generated by subtracting each pixel of the reference frame input from the
次に、差分加算部705は、オクルージョン領域算出部706で算出されたオクルージョン領域でない領域において、第2の位置ずれ量算出部103で算出された第2の位置ずれ量を用いて、差分フレーム算出部704で算出された差分フレームを拡大・変形して仮の推定高解像度フレームに加算し、仮の推定高解像度フレームを更新する(ステップS805)。
Next, the
差分フレームの拡大処理は、従来の内挿方法である双一次内挿法(Bi−linear補間法)、双3次内挿法(Bi−cubic補間法)、3次畳み込み内挿法(Cubic Convolution補間法)といった一般的な画像補間方法を用いる。 The differential frame enlarging process is performed by bilinear interpolation (Bi-linear interpolation), bicubic interpolation (Bi-cubic interpolation), or cubic convolution (concubation interpolation). A general image interpolation method such as an interpolation method is used.
差分フレームの変形処理は、第1の位置ずれ量により、高解像度な基準フレームの各画素から参照フレームへのサブピクセル精度の位置ずれ量が分かるので、差分フレーム内の位置ずれ量の行き先の周りの画素値を双一次内挿法(Bi−linear補間法)で補間することにより算出できる。 In the difference frame deformation process, since the first positional deviation amount indicates the positional deviation amount with sub-pixel accuracy from each pixel of the high-resolution base frame to the reference frame, around the destination of the positional deviation amount in the differential frame. Are interpolated by bilinear interpolation (Bi-linear interpolation).
つまり、高解像度な基準フレームの推定高解像度フレームでの更新量(誤差のマイナス)が算出される。しかし、オクルージョン領域と判定された画素での位置ずれ量は信頼性が低いために、第1の位置ずれ量を用いた補間は行わず、更新量を0に設定する。この更新量の平均値を、現段階での推定高解像度フレームに加算することで、より高精度な推定高解像度フレームに更新される。 That is, the update amount (minus error) of the estimated high resolution frame of the high resolution reference frame is calculated. However, since the positional deviation amount at the pixel determined to be the occlusion region is low in reliability, interpolation using the first positional deviation amount is not performed, and the update amount is set to zero. By adding the average value of the update amounts to the estimated high resolution frame at the current stage, the updated high precision frame is updated.
次に、ステップS205と同様に、高解像度処理が完了していない場合(ステップS806:No)は、差分フレーム算出部704に戻り、差分加算部705で更新された推定高解像度フレームをもとに、第2の位置ずれ量算出部103で算出された第2の位置ずれ量を用いて変形・縮小して複数の推定参照フレームを生成し、フレーム入力部101で入力された参照フレームと推定参照フレームとの複数の差分フレームを算出する処理を繰り返す。
Next, as in step S205, if the high resolution processing has not been completed (step S806: No), the process returns to the difference
高解像度化の処理が完了した場合(ステップS806:Yes)は、差分加算部705で更新された推定高解像度フレームを、基準フレームの拡大フレームとして出力して処理を終了する。
When the high resolution processing is completed (step S806: Yes), the estimated high resolution frame updated by the
このように、第2の実施形態に係わる画像拡大装置によれば、第1の位置ずれ量と第2の位置ずれ量を用いてフレーム間での対応点のないオクルージョン領域を算出することにより、オクルージョンが生じるような、可逆でない変形をする被写体でも、より、高精度に基準参照フレームを高解像度化することが可能となる。 As described above, according to the image enlargement apparatus according to the second embodiment, by calculating the occlusion area having no corresponding point between frames using the first positional deviation amount and the second positional deviation amount, Even with a subject that deforms in a non-reversible manner that causes occlusion, the resolution of the reference frame can be increased with higher accuracy.
なお、この画像拡大装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、第1の位置ずれ量算出部102、第2の位置ずれ量算出部103、差分フレーム算出部104、704、差分加算部105、705、および、オクルージョン領域算出部706は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像拡大装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、CD−ROMなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。
Note that this image enlargement apparatus can also be realized by using, for example, a general-purpose computer apparatus as basic hardware. That is, the first misregistration
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
101・・・フレーム入力部
102・・・第1の位置ずれ量算出部
103・・・第2の位置ずれ量算出部
104、704・・・差分フレーム算出部
105、705・・・差分加算部
706・・・オクルージョン領域算出部
101...
Claims (10)
複数のフレームのうち一つを高解像度化するための基準となる基準フレーム、残りのフレームを参照フレームとして入力され、前記参照フレームの各画素から前記基準フレームへの第2の位置ずれ量を、画素値を比較して算出する第2の位置ずれ量算出手段と、
前記基準フレームを用いて仮の推定高解像度フレームを生成する仮の推定高解像度フレーム生成手段と、
前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出する差分フレーム算出手段と、
前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームに加算して推定高解像度フレームを生成する差分加算手段と、を具備することを特徴とする画像拡大装置。 A reference frame as a reference for increasing the resolution of one of a plurality of frames, the remaining frame is input as a reference frame, and a first positional shift amount from each pixel of the reference frame to the reference frame, A first misregistration amount calculating means for calculating and comparing pixel values;
A reference frame serving as a reference for increasing the resolution of one of a plurality of frames, the remaining frame is input as a reference frame, and a second positional shift amount from each pixel of the reference frame to the reference frame, A second misregistration amount calculating means for calculating and comparing pixel values;
A temporary estimated high resolution frame generating means for generating a temporary estimated high resolution frame using the reference frame;
A motion compensation frame is generated from the provisional estimated high-resolution frame using the second positional shift amount, and a motion compensation frame is reduced to generate an estimated reference frame corresponding to the reference frame. The reference frame and the estimated reference frame Difference frame calculation means for calculating a difference frame between and
Difference addition means for generating a motion compensation frame from the difference frame using the first misregistration amount, expanding the frame and adding it to the temporary estimated high resolution frame to generate an estimated high resolution frame; An image enlarging apparatus characterized by:
複数のフレームのうち一つを高解像度化するための基準となる基準フレーム、残りのフレームを参照フレームとして入力され、前記参照フレームの各画素から前記基準フレームへの第2の位置ずれ量を、画素値を比較して算出する第2の位置ずれ量算出手段と、
前記基準フレームを用いて仮の推定高解像度フレームを生成する仮の推定高解像度生成手段と、
前記第1の位置ずれ量と前記第2の位置ずれ量を用いて、前記基準フレームから前記参照フレームへの対応点がない第1のオクルージョン領域と、前記参照フレームから前記基準フレームへの対応点がない第2のオクルージョン領域を算出するオクルージョン領域算出手段と、
前記第1及び第2のオクルージョン領域ではない領域において、前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出する差分フレーム算出手段と、
前記第1及び第2のオクルージョン領域ではない領域において、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームに加算して推定高解像度フレームを生成する差分加算手段と、を具備することを特徴とする画像拡大装置。 A reference frame as a reference for increasing the resolution of one of a plurality of frames, the remaining frame is input as a reference frame, and a first positional shift amount from each pixel of the reference frame to the reference frame, A first misregistration amount calculating means for calculating and comparing pixel values;
A reference frame serving as a reference for increasing the resolution of one of a plurality of frames, the remaining frame is input as a reference frame, and a second positional shift amount from each pixel of the reference frame to the reference frame, A second misregistration amount calculating means for calculating and comparing pixel values;
A temporary estimated high resolution generating means for generating a temporary estimated high resolution frame using the reference frame;
A first occlusion area where there is no corresponding point from the base frame to the reference frame, and a corresponding point from the reference frame to the base frame, using the first positional shift amount and the second positional shift amount An occlusion area calculating means for calculating a second occlusion area having no
In a region that is not the first and second occlusion regions, a motion compensation frame is generated from the provisional estimated high resolution frame using the second positional shift amount, and the motion compensation frame is reduced and estimated corresponding to the reference frame Difference frame calculation means for generating a reference frame and calculating a difference frame between the reference frame and the estimated reference frame;
In a region that is not the first and second occlusion regions, a motion compensation frame is generated from the difference frame using the first displacement amount, and is expanded and added to the temporary estimated high resolution frame. An image enlarging device comprising: difference addition means for generating an estimated high resolution frame.
第1の位置ずれ量算出手段にて、前記基準フレームの各画素から前記参照フレームへの第1の位置ずれ量を、画素値を比較して算出するステップと、
第2の位置ずれ量算出手段にて、前記参照フレームの各画素から前記基準フレームへの第2の位置ずれ量を、画素値を比較して算出するステップと、
仮の推定高解像度フレーム生成手段にて、前記基準フレームを用いて仮の推定高解像度フレームを生成するステップと、
差分フレーム算出手段にて、前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出するステップと、
差分加算手段にて、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームに加算して推定高解像度フレームを生成するステップと、を具備することを特徴とする画像拡大方法。 Inputting a reference frame as a reference for increasing the resolution of one of a plurality of frames, and the remaining frames as reference frames;
Calculating a first displacement amount from each pixel of the base frame to the reference frame by comparing pixel values with a first displacement amount calculation unit;
A second misregistration amount calculation means for calculating a second misregistration amount from each pixel of the reference frame to the base frame by comparing pixel values;
In the temporary estimated high resolution frame generating means, generating a temporary estimated high resolution frame using the reference frame;
In the difference frame calculation means, a motion compensation frame is generated from the temporary estimated high resolution frame using the second misregistration amount, and this is reduced to generate an estimated reference frame corresponding to the reference frame, Calculating a difference frame between a reference frame and the estimated reference frame;
A step of generating an estimated high resolution frame by generating a motion compensation frame from the difference frame using the first misregistration amount, adding the motion compensation frame to the provisional estimated high resolution frame by the difference adding means; And a method for enlarging an image.
第1の位置ずれ量算出手段にて、前記基準フレームの各画素から前記参照フレームへの第1の位置ずれ量を、画素値を比較して算出するステップと、
第2の位置ずれ量算出手段にて、前記参照フレームの各画素から前記基準フレームへの第2の位置ずれ量を、画素値を比較して算出するステップと、
仮の推定高解像度フレーム生成手段にて、前記基準フレームを用いて仮の推定高解像度フレームを生成するステップと、
オクルージョン領域算出手段にて、前記第1の位置ずれ量と前記第2の位置ずれ量を用いて、前記基準フレームから前記参照フレームへの対応点がない第1のオクルージョン領域と、前記参照フレームから前記基準フレームへの対応点がない第2のオクルージョン領域を算出するステップと、
差分フレーム算出手段にて、前記第1及び第2のオクルージョン領域ではない領域において、前記第2の位置ずれ量を用いて前記仮の推定高解像度フレームから動き補償フレームを生成しこれを縮小して前記参照フレームに対応する推定参照フレームを生成し、前記参照フレームと前記推定参照フレームとの間の差分フレームを算出するステップと、
差分加算手段にて、前記第1及び第2のオクルージョン領域ではない領域において、前記第1の位置ずれ量を用いて前記差分フレームから動き補償フレームを生成しこれを拡大して前記仮の推定高解像度フレームに加算して推定高解像度フレームを生成するステップと、を具備することを特徴とする画像拡大方法。 Inputting a reference frame as a reference for increasing the resolution of one of a plurality of frames, and the remaining frames as reference frames;
Calculating a first displacement amount from each pixel of the base frame to the reference frame by comparing pixel values with a first displacement amount calculation unit;
A second misregistration amount calculation means for calculating a second misregistration amount from each pixel of the reference frame to the base frame by comparing pixel values;
In the temporary estimated high resolution frame generating means, generating a temporary estimated high resolution frame using the reference frame;
In the occlusion area calculation means, the first occlusion area having no corresponding point from the reference frame to the reference frame using the first positional deviation amount and the second positional deviation amount, and the reference frame Calculating a second occlusion region having no corresponding point to the reference frame;
The difference frame calculation means generates a motion compensation frame from the temporary estimated high resolution frame using the second positional deviation amount in an area that is not the first and second occlusion areas, and reduces the frame. Generating an estimated reference frame corresponding to the reference frame and calculating a difference frame between the reference frame and the estimated reference frame;
The difference adding means generates a motion compensation frame from the difference frame using the first positional deviation amount in an area that is not the first and second occlusion areas, and expands the motion compensation frame to increase the temporary estimated height. And a step of generating an estimated high resolution frame by adding to the resolution frame.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006077088A JP4686388B2 (en) | 2006-03-20 | 2006-03-20 | Image enlarging apparatus and image enlarging method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006077088A JP4686388B2 (en) | 2006-03-20 | 2006-03-20 | Image enlarging apparatus and image enlarging method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007257042A JP2007257042A (en) | 2007-10-04 |
JP4686388B2 true JP4686388B2 (en) | 2011-05-25 |
Family
ID=38631273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006077088A Active JP4686388B2 (en) | 2006-03-20 | 2006-03-20 | Image enlarging apparatus and image enlarging method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4686388B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009141770A1 (en) * | 2008-05-21 | 2009-11-26 | Koninklijke Philips Electronics N.V. | Image resolution enhancement |
JP2010257179A (en) * | 2009-04-24 | 2010-11-11 | Fuji Xerox Co Ltd | Image processing apparatus and image processing program |
JP5143164B2 (en) * | 2010-03-10 | 2013-02-13 | 株式会社東芝 | Image processing apparatus and image processing method |
JP5460499B2 (en) * | 2010-07-12 | 2014-04-02 | 日本放送協会 | Image processing apparatus and computer program |
JP5890794B2 (en) * | 2013-02-28 | 2016-03-22 | 株式会社東芝 | Image processing device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003299035A (en) * | 2002-04-03 | 2003-10-17 | Sony Corp | Pixel interpolation processing device and method |
JP2005109822A (en) * | 2003-09-30 | 2005-04-21 | Seiko Epson Corp | Device, method and program for creating static picture and record medium where static picture creation program is recorded |
JP2007000205A (en) * | 2005-06-21 | 2007-01-11 | Sanyo Electric Co Ltd | Image processing apparatus, image processing method, and image processing program |
JP2007226656A (en) * | 2006-02-24 | 2007-09-06 | Toshiba Corp | Method and device of improving resolution of image |
-
2006
- 2006-03-20 JP JP2006077088A patent/JP4686388B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003299035A (en) * | 2002-04-03 | 2003-10-17 | Sony Corp | Pixel interpolation processing device and method |
JP2005109822A (en) * | 2003-09-30 | 2005-04-21 | Seiko Epson Corp | Device, method and program for creating static picture and record medium where static picture creation program is recorded |
JP2007000205A (en) * | 2005-06-21 | 2007-01-11 | Sanyo Electric Co Ltd | Image processing apparatus, image processing method, and image processing program |
JP2007226656A (en) * | 2006-02-24 | 2007-09-06 | Toshiba Corp | Method and device of improving resolution of image |
Also Published As
Publication number | Publication date |
---|---|
JP2007257042A (en) | 2007-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4818053B2 (en) | High resolution device and method | |
JP5385969B2 (en) | Method and apparatus for super-resolution of images | |
JP4461165B2 (en) | Image processing apparatus, method, and program | |
JP4886583B2 (en) | Image enlargement apparatus and method | |
JP6253792B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP5238220B2 (en) | Resolution conversion apparatus, method and program | |
WO2005024723A1 (en) | Image combining system, image combining method, and program | |
JP6236259B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2007000205A (en) | Image processing apparatus, image processing method, and image processing program | |
JP2007226643A (en) | Image processor | |
JP4714038B2 (en) | Method and apparatus for increasing image resolution | |
JP4686388B2 (en) | Image enlarging apparatus and image enlarging method | |
WO2009096520A1 (en) | Corresponding point search apparatus and corresponding point search method | |
KR20210128203A (en) | System and method for providing volumetric 3D video | |
WO2008102898A1 (en) | Image quality improvement processig device, image quality improvement processig method and image quality improvement processig program | |
JP2019012359A (en) | Information processor, program, and method for information processing | |
JP2009100407A (en) | Image processing apparatus and method thereof | |
JP2001028051A (en) | Device and method for image processing, and image processing program recording medium | |
JP6274744B2 (en) | Image processing apparatus and image processing method | |
JP2000354244A (en) | Image processing unit, its method and computer-readable storage medium | |
US8509568B2 (en) | Image processing apparatus and image processing method | |
JP2008293388A (en) | Image processing method, image processor, and electronic equipment comprising image processor | |
JP2009060464A (en) | Video resolution increasing apparatus and method | |
JP2006209396A (en) | Image conversion method/device, program and server client system | |
JP2009064193A (en) | Resolution converter and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080813 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110121 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110214 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4686388 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313121 Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |