JPH11103447A - Method and device for repairing moving image and providing medium - Google Patents

Abstract

PROBLEM TO BE SOLVED: To perform satisfactory repair even in a moving image by making an image secure continuity in a temporal direction based on information of an absent pixel in at least one image before or after a repair object image that loses image information. SOLUTION: An algorithm to be used is to use a repair algorithm based on mathematical principles such as POCS, Projection, Onto and Convex Sets. An original image that becomes an object to be repaired and positional information of an area to be repaired on the original image and an area which is referred to at that time are needed. When image repair based on the POCS is performed one time, a POCS result image that is repaired to some extent is acquired. The repaired image is sent to an average processing module again, an image of a correspondence place in preceding and subsequent frames and weight average with a repair object area are calculated and processing which writes them back to the repair object area is performed. The POCS result image remains as it is except the repair object area. The processing is repeated.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】この発明は、デジタル化され
た動画像中の、キズや不要物、あるいはノイズ等を除去
し、画像を復元する方法及び装置に関する。[0001] 1. Field of the Invention [0002] The present invention relates to a method and an apparatus for restoring an image by removing a flaw, an unnecessary object, noise, or the like in a digitized moving image.

【０００２】[0002]

【従来の技術】古い映画のフィルムには多数のゴミが付
着しておりまたキズも多数存在する。こうしたフィルム
をスキャナで電子的に読み取りデジタル画像とした後に
は、ゴミやキズの電子的な除去が必要である。当然、本
来どのような画像であったかはわからないから、ゴミや
キズ部分の画素は情報は欠落した状態にある。それを周
囲の画素の情報をもとに復元しなくてはならない。2. Description of the Related Art A large amount of dust is attached to an old movie film, and there are many scratches. After such a film is electronically read by a scanner to form a digital image, it is necessary to electronically remove dust and scratches. Naturally, it is not known what kind of image the image was originally. Therefore, the information of the pixel in the dust or flaw portion is missing. It must be restored based on the information of the surrounding pixels.

【０００３】また、近年の映画の特殊効果では俳優や乗
り物などをワイヤーで吊して空中を飛行するなどのシー
ンを撮影し、後にこのワイヤーを電子的に消去すること
がよく行われる。この場合も、ワイヤーで隠されてしま
った、本来は見えてほしかった部分は撮影済のフィルム
からはもはや得られないから、その再現が必要になる。
これもやはり情報の欠落した画素を復元する問題として
捉えることが出来る。In recent movie special effects, it is often practiced to photograph a scene in which an actor, a vehicle, or the like is suspended in a wire and fly in the air, and thereafter the wire is electronically erased. In this case as well, the part that was originally hidden and hidden by the wire can no longer be obtained from the film that has already been photographed, so it is necessary to reproduce it.
This can be regarded as a problem of restoring a pixel with missing information.

【０００４】さらにまた、電波やコンピュータネットワ
ーク上の伝送の際に誤りが生じた画像に対しても、誤り
による欠損を目立たなくする復元技術が必要になる。[0004] Furthermore, a restoration technique is required for an image in which an error has occurred during transmission on a radio wave or a computer network so that loss due to the error is not noticeable.

【０００５】画像の修正を行うにあたって、最も伝統的
でかつ今日でも広く行われているのは、人間による手描
き修正である。ペンやブラシやエアブラシで紙に絵を描
く操作をコンピュータ上に再現したソフトウェア（ペイ
ントソフトやフォトレタッチソフトと呼ばれる）を用
い、画像に対して電子的なペンやブラシで絵を描いて、
画像中のキズを修復することが今日でも一般的に行われ
ている。[0005] The most traditional and still widely practiced in image correction is hand-drawn correction by humans. Using software (called paint software or photo retouching software) that reproduces the operation of drawing a picture on a paper with a pen, brush or airbrush on a computer, draw a picture on the image with an electronic pen or brush,
Repairing flaws in images is still common today.

【０００６】１フレームをきれいに修復するのはもちろ
ん大変であるが、動画像となると、さらに困難な作業と
なる。すなわち、手で修正しているために各フレームに
おける修復のされ方が同じ画素といえども一様ではな
く、その結果、それぞれのフレームを単独で見ると良好
な修復であっても、それらを連続して動画としてみると
時間軸方向での修復の不連続さがノイズとして人間の目
に感知されてしまうのである。このノイズを除去するの
は極めて難しい。いうまでもなくこれは時間と熟練を要
する作業であり、１００フレーム程度の動画像の修正に
１週間近い時間を要することも珍しくなく、映画やビデ
オの映像操作において、その時間的効率を下げる大きな
要因となっている。[0008] It is, of course, difficult to cleanly restore one frame, but it becomes even more difficult for a moving image. In other words, the method of repairing in each frame is not uniform even if it is the same pixel because it is corrected by hand. When viewed as a moving image, discontinuity of restoration in the time axis direction is perceived as noise by human eyes. It is extremely difficult to remove this noise. Needless to say, this is a work that requires time and skill, and it is not uncommon for a video of about 100 frames to take close to one week to correct, which greatly reduces the time efficiency in movie and video image manipulation. It is a factor.

【０００７】作業を効率化するためにコンピュータを用
いた画像処理により画像の修復を自動化する試みは従来
からなされている。Attempts have been made to automate the restoration of images by image processing using a computer in order to improve work efficiency.

【０００８】画像処理フィルタの利用は代表的な例であ
り、例えばローパスフィルタ（低域通過フィルタ）の使
用により、情報が欠落した部分をぼかして周囲となじま
せることで、ある程度の復元が可能である。単にローパ
スフィルタを施しただけでは画像全体がぼけてしまうた
め、この点を改善するために統計的操作を用いたフィル
タであるメディアン・フィルタ (median filter)など多
数のフィルタが考案されている。こうしたフィルタによ
る画像復元の技術は、画像処理の代表的著作である A.
K. Jain 著“Fundamentals of digital image processi
ng"、Prenticehall出版、などに詳しく記載されてい
る。しかし、これらのフィルタは主として、小さな、そ
れぞれ離散的に存在する画素情報の欠落に対しては有効
であるが、連続した画素からなる大きな領域の修復には
不向きである。The use of an image processing filter is a typical example. For example, by using a low-pass filter (low-pass filter), a part where information is lost is blurred to be blended with the surroundings, thereby enabling a certain degree of restoration. is there. Since simply applying a low-pass filter blurs the entire image, a number of filters such as a median filter, which is a filter using a statistical operation, have been devised to improve this point. Image restoration technology using such filters is a representative work of image processing.
“Fundamentals of digital image processi” by K. Jain
ng ", published by Prenticehall, etc. However, these filters are primarily useful for small, discretely missing pixel information, but for large areas of contiguous pixels. It is not suitable for restoration.

【０００９】従って、主要な用途である、画像中のキズ
の除去、ワイヤなどの不要物除去後の背景の復元、画像
伝送中のバースト的な誤りの復元には十分とは言えな
い。Therefore, it cannot be said that it is sufficient for main uses such as removal of a flaw in an image, restoration of a background after removing an unnecessary object such as a wire, and restoration of a burst error during image transmission.

【００１０】ディジタル画像のスクラッチは、画像内の
不要な画素である。スクラッチ雑音は、一般的に、画素
の小さな独立したグループや集まりというよりはむし
ろ、多数の隣接した画素からなる。画像において、スク
ラッチ雑音は、例えば１０画素×１００画素のような画
素の領域により構成され、スクラッチによって切断され
たテクスチャ又はエッジ等の細部を有する画像の領域に
存在する。[0010] Digital image scratches are unwanted pixels in the image. Scratch noise generally consists of a number of adjacent pixels, rather than a small independent group or collection of pixels. In an image, scratch noise is constituted by an area of pixels, for example, 10 pixels × 100 pixels, and is present in an area of an image having details such as textures or edges cut by the scratch.

【００１１】画像からスクラッチを除去するために、ス
クラッチ領域を構成する画素は、元のデータを表し、あ
るいは元のデータに匹敵するデータで置換しなければな
らない。効果的にスクラッチ領域を修復するためには、
この画素データが、スクラッチ領域において周辺の領域
と同程度にシャープな画像を生じさせるものでなければ
ならない。さらに、鮮明なエッジの連続が維持され、ワ
イヤあるいはスクラッチ画素を置換するために生成され
たテクスチャは周辺のテクスチャに調和しなければなら
ない。To remove scratches from an image, the pixels that make up the scratch area must represent the original data or be replaced with data comparable to the original data. To repair the scratch area effectively,
This pixel data must produce an image that is as sharp as the surrounding area in the scratch area. In addition, sharp edge continuity is maintained, and the texture generated to replace the wire or scratch pixel must match the surrounding texture.

【００１２】ディジタル処理における従来の技術の効果
は、規則的又はランダム的に発生する画像の特徴と画像
内における相対的なサイズに従って、変化する。規則的
に発生する特徴の例としては、煉瓦壁や布に織り込まれ
たテクスチャがある。ランダムに発生する特徴の例とし
ては、アスファルト道路、コンクリート歩道又は砂浜が
ある。従来の技術の効果は、スクラッチ領域の大きさや
種類にも依存する。画像の平滑あるいはぼやけた領域に
小さく、孤立した雑音画素の集合は、例えばフィルタリ
ング、クローニング、ペインティングの技術等の従来の
技術により、比較的簡単に除去することができる。しか
し、従来の雑音除去技術は、多数の隣接した画素からな
るスクラッチや、画像のテクスチャ領域又は際だったエ
ッジや線を有する領域のスクラッチには適用できない。The effect of the prior art in digital processing varies according to regularly or randomly occurring image features and their relative sizes within the image. Examples of regularly occurring features include textures woven into brick walls and cloth. Examples of randomly occurring features include asphalt roads, concrete sidewalks or sandy beaches. The effect of the conventional technique also depends on the size and type of the scratch area. A collection of small, isolated noise pixels in a smooth or blurred area of an image can be relatively easily removed by conventional techniques such as, for example, filtering, cloning, and painting techniques. However, conventional noise removal techniques cannot be applied to scratches consisting of a large number of adjacent pixels or scratches in textured areas of an image or areas having distinct edges or lines.

【００１３】画像雑音除去における従来の技術は、一般
的に、１）フレーム内技術、２）フレーム間技術の２種
類に分類することができる。これらの２つの一般的な技
術の違いは、主に雑音画素を置換するデータがどこから
得られるかという点にある。フレーム間技術では、一般
的に、雑音画素を置換するために必要とされる画素を、
先行するあるいは連続したフレームからコピーする。一
方、フレーム内技術では、一般的に、修復される画像フ
レーム内のデータを雑音画素の置換のために利用する。Conventional techniques for removing image noise can be generally classified into two types: 1) an intra-frame technique and 2) an inter-frame technique. The difference between these two general techniques lies mainly in where the data that replaces the noise pixels is obtained. In the inter-frame technique, the pixels needed to replace noise pixels are generally
Copy from previous or consecutive frames. On the other hand, in the intra-frame technique, data in an image frame to be restored is generally used for replacing a noise pixel.

【００１４】フレーム間技術は、極端なカメラの動きや
場面の動きを考えた画像／場面においては、良好な結果
を出すことができない。またこの技術は、幾つかの画像
フレームに亘ってスクラッチが広がっていたり、損傷し
た画像フレームが画像を修復するためのデータを提供す
る唯一の画像フレームである場合などにも適用すること
ができない。不運にも、一般的な映写機による映画フィ
ルムの動きにおいてスクラッチが幾つもの画像フレーム
に亘ることは一般的に生じ得ることである。これらの状
況においては、先行／連続する画像フレームからの対応
する画像データは、スクラッチ領域を置換／コピーする
のに利用することができない。スクラッチ雑音除去にお
ける従来の技術は、スクラッチ雑音除去の問題に対し
て、いくつかの方法を提供している。この従来の方法
は、以下の方法を含むものである。すなわち、（ａ）ロ
ーパスフィルタリングと他の線形フィルタリング、
（ｂ）メディアンフィルタリングと他の非線形フィルタ
リング、（ｃ）統計的なテクスチャの合成、（ｄ）例え
ば画像の他の部分をコピーするクローニング、（ｅ）手
でのペインティング、（ｆ）射影に基づいた方法、
（ｇ）連立方程式を解くことに基づいた方法、である。
しかし、これらの技術は、様々なスクラッチ／画像の状
態に対して、最適な結果を引き出すためのスクラッチ除
去に成功していない。The inter-frame technique cannot provide a good result for an image / scene in which extreme camera movement and scene movement are considered. Also, this technique cannot be applied when the scratch is spread over several image frames, or when the damaged image frame is the only image frame that provides data for restoring the image. Unfortunately, it is generally possible for scratches to span several image frames in motion of a motion picture film with a typical projector. In these situations, the corresponding image data from the preceding / consecutive image frames cannot be used to replace / copy the scratch area. Conventional techniques in scratch denoising have provided several approaches to the problem of scratch denoising. This conventional method includes the following method. (A) low-pass filtering and other linear filtering,
(B) median filtering and other non-linear filtering, (c) statistical texture synthesis, (d) cloning, eg copying other parts of the image, (e) hand painting, (f) based on projection Way,
(G) A method based on solving simultaneous equations.
However, these techniques have not been successful in removing scratches for optimal results for various scratch / image conditions.

【００１５】全ての画像信号は、互いに異なる周波数を
有する多くの正弦波信号の特定の比率の組み合わせで構
成されると考えられる。そのような画像を画像成分とし
て分析するには、高速フーリエ変換（ＦＦＴ）として知
られる方法が用いられる。画像をこのような方法で分析
し、このＦＦＴで生成された情報に対する処理は、周波
数領域での処理として知られている。画像信号に対する
直接的な処理は、空間領域での処理として知られる。All image signals are considered to be composed of a specific ratio combination of many sinusoidal signals having different frequencies. To analyze such images as image components, a method known as Fast Fourier Transform (FFT) is used. Analyzing an image in this way and processing the information generated by this FFT is known as processing in the frequency domain. Direct processing on image signals is known as processing in the spatial domain.

【００１６】上記（ａ）から（ｅ）までの方法は、１つ
のそのような領域でしか処理しない。周波数領域での方
法は、画像の全体の構造を把握することができるが、局
所的な処理性ローカルコントロール（線連続性、鮮明
度）を失ってしまう。その結果、線及び他の細部が不鮮
明になってしまう。The above methods (a) to (e) operate only on one such area. The method in the frequency domain can grasp the entire structure of the image, but loses local processing local control (line continuity, sharpness). As a result, lines and other details are blurred.

【００１７】空間領域のみの方法で見られる問題は、そ
れらは、局所的な処理性ローカルコントロール及び局所
的な情報を有しているが、画像の全体の構造に関する情
報を有していないということである。局所的な近傍に対
する制限は、ある場合には、実際のコンピュータ処理に
おける制約が原因である。さらに、中間フィルタリング
のような幾つかの方法は、本来全体の情報を有意義に使
用する能力がない。The problem seen with the spatial domain only method is that they have local processing local controls and local information, but no information about the overall structure of the image. It is. Restrictions on local neighborhoods are, in some cases, due to constraints in actual computer processing. Furthermore, some methods, such as intermediate filtering, do not inherently have the ability to use the entire information meaningfully.

【００１８】ここで、従来の画像修復方法として、修復
に使用する領域を前後のフレームからのコピーによって
得る方法がある。図１に例を示すように、図１のＢに示
す第ｉフレーム３１中にキズ（黒い太線部分）３が含ま
れている。Here, as a conventional image restoration method, there is a method in which an area used for restoration is obtained by copying from the previous and next frames. As shown in the example in FIG. 1, a flaw (black thick line portion) 3 is included in the i-th frame 31 shown in B of FIG.

【００１９】即ち、図１のＡの第ｉ−１フレーム３０、
図１のＢの第ｉフレーム３１、図１のＣの第ｉ＋１フレ
ーム３２には、図中略々中央に図中右下方向に向かって
移動する移動体４１がそれぞれ表示されている。図中の
Ｂの第ｉフレーム３１の図中略々中央には図中略々右上
方向を長手方向とする略々矩形状のキズ３が含まれてい
る。そして、図１のＡの第ｉ−１フレーム３０及び図１
のＣの第ｉ＋１フレーム３２には、図１のＢの第ｉフレ
ーム３１に含まれているキズ３に対応する部分に同一形
状の部分７がそれぞれ設定されている。ここでは、図１
のＢの第ｉフレーム３１のキズ３のデータを前後のフレ
ームに破線で示した領域７から画像領域を取得してコピ
ーすることで修復することができる。That is, the (i-1) th frame 30 in FIG.
In the i-th frame 31 of FIG. 1B and the (i + 1) -th frame 32 of FIG. 1C, a moving body 41 that moves toward the lower right in the figure is displayed substantially at the center of the figure. A substantially rectangular flaw 3 whose longitudinal direction is substantially in the upper right direction in the figure is included at substantially the center of the i-th frame 31 of B in the figure. 1A-1 of FIG. 1A and FIG.
In the (i + 1) th frame 32 of FIG. 1C, portions 7 having the same shape are set in portions corresponding to the flaws 3 included in the i-th frame 31 of FIG. Here, FIG.
The data of the flaw 3 of the i-th frame 31 of B can be restored by acquiring and copying the image area from the area 7 indicated by the broken line in the previous and subsequent frames.

【００２０】しかし、図２に示すように、各フレームで
明るさや陰影の調子が変化している場合がある。However, as shown in FIG. 2, there are cases where the brightness and the tone of the shade change in each frame.

【００２１】即ち、図２のＡの第ｉ−１フレーム３０、
図２のＢの第ｉフレーム３１、図２のＣの第ｉ＋１フレ
ーム３２には、上記図１における移動体４１と同一形状
の移動体４１がそれぞれ表示されている。しかし、これ
ら各フレーム３０〜３２の明るさや陰影の調子は異なっ
ている。第ｉフレーム３１に表示されている移動体４１
に比較すると、第ｉ−１フレーム３０に表示されている
移動体４１は暗く、第ｉ＋１フレーム３２に表示されて
いる移動体４１は明るい。このような場合には、単にコ
ピーをして張り付けたのでは色が合わず、修復品質が低
い。That is, the (i-1) th frame 30 in FIG.
A moving body 41 having the same shape as the moving body 41 in FIG. 1 is displayed in the i-th frame 31 in FIG. 2B and the (i + 1) -th frame 32 in FIG. 2C. However, the brightness and shade of each of the frames 30 to 32 are different. Moving object 41 displayed in i-th frame 31
The moving body 41 displayed in the (i-1) th frame 32 is dark and the moving body 41 displayed in the (i + 1) th frame 32 is bright. In such a case, simply copying and pasting does not match the color, resulting in poor restoration quality.

【００２２】また、図３に示すように、キズ３が前後の
フレームで大きく重なっている場合がある。Further, as shown in FIG. 3, the flaw 3 may be greatly overlapped in the front and rear frames.

【００２３】即ち、図３のＡの第ｉ−１フレーム３０、
図３のＢの第ｉフレーム３１、図３のＣの第ｉ＋１フレ
ーム３２には、上記図１における移動体４１と同一形状
の移動体４１がそれぞれ表示されている。図３のＡの第
ｉ−１フレーム３０には、図中中央やや左に図中の略々
右上方向を長手方向とする矩形状のキズ３が含まれてい
る。図３のＢの第ｉフレーム３１には、図中略々中央に
図中の略々右上方向を長手方向とする矩形状のキズ３が
含まれている。図３のＣの第ｉ＋１フレーム３２には、
図中中央やや右に図中の略々右上方向を長手方向とする
矩形状のキズ３が含まれている。そして、キズ３は前後
のフレームで大きく重なっている。That is, the (i-1) th frame 30 in FIG.
A moving body 41 having the same shape as the moving body 41 in FIG. 1 is displayed in the i-th frame 31 in FIG. 3B and the (i + 1) -th frame 32 in FIG. 3C. The i-th frame 30 in FIG. 3A includes a rectangular flaw 3 whose center is slightly leftward in the figure and whose longitudinal direction is substantially the upper right direction in the figure. The i-th frame 31 of FIG. 3B includes a rectangular flaw 3 whose longitudinal direction is substantially in the upper right direction in the drawing at substantially the center in the drawing. In the (i + 1) th frame 32 of C in FIG.
A rectangular flaw 3 whose longitudinal direction is substantially in the upper right direction in the figure is included in the center slightly to the right in the figure. The flaw 3 largely overlaps in the front and rear frames.

【００２４】このような場合には、埋めるデータをさら
に時間軸上遠方の（例えば第ｉ−２フレームや第ｉ＋２
フレーム）から求める必要がある。時間的に遠方のフレ
ームを参照するほど、上述の陰影などの差も大きくなる
から良好な修復を行うことは困難となる。In such a case, the data to be filled is further distant on the time axis (for example, the (i-2) th frame or the (i + 2) th frame).
Frame). The more the temporally distant frame is referred to, the larger the difference of the above-mentioned shadow and the like becomes, so that it is difficult to perform a good restoration.

【００２５】[0025]

【発明が解決しようとする課題】以上に述べたように、
従来の技術においては、手作業による動画像の修復に
は、熟練したオペレータであっても多大の時間要してい
た。それでもなお、全フレームにわたり一様な修復を施
すことが困難であり、結果的に修復の品質が低かった。As described above, as described above,
In the related art, it takes a lot of time for a skilled operator to manually restore a moving image. Nevertheless, it was difficult to make a uniform restoration over the entire frame, resulting in poor restoration quality.

【００２６】また、コンピュータを用いて修復する従来
の方法は連続する多数の画素の情報の欠落に対しては十
分な効果が無く、さらに動画像に対して連続で一様な修
復をすることができない。単一フレームに対する修復の
精度を従来より大きく改善した、日本特許出願の“特願
平７−３０３４２０号”及び“特願平８−２０４７７６
号”の各明細書中に開示した技術においてもなお、動画
像修復を行ったときの品質は良好とはいえない。Further, the conventional method of restoring using a computer does not have a sufficient effect on the loss of information of a large number of continuous pixels, and furthermore, it is possible to restore a moving image continuously and uniformly. Can not. Japanese Patent Application No. 7-303420 and Japanese Patent Application No. 8-204776 of Japanese Patent Application have greatly improved the accuracy of restoration for a single frame.
However, the technology disclosed in each of the specifications does not provide good quality when the moving image is restored.

【００２７】さらに、前後の画像から画像をコピーして
修復を行う方法は、時間と共に陰影や明るさが変化する
場合にはよい結果が得られない。前後のフレームで情報
が欠落している領域が重なっている場合にはさらに離れ
たフレームを使用しなくてはならないが、時間的に離れ
るほど、陰影の差や形状の違いが大きくなり、この方法
での修復は困難となる。Furthermore, the method of copying and restoring an image from the preceding and succeeding images does not provide good results when the shadow or brightness changes over time. If the area where information is missing in the previous and next frames overlaps, you must use a further distant frame, but the farther in time, the greater the difference in shading and difference in shape, and this method It is difficult to repair at

【００２８】このように、従来の方法では、単一フレー
ムの修復は満足できる結果を得ることもできるが、動画
像全体の良好な修復は不可能であった。As described above, in the conventional method, the restoration of a single frame can obtain satisfactory results, but the satisfactory restoration of the entire moving image cannot be performed.

【００２９】本発明は上述の実情に鑑み、動画像におい
ても良好な画像の修復が可能な動画像の修復方法及び修
復装置並びに提供媒体を提供することを目的とする。The present invention has been made in view of the above circumstances, and has as its object to provide a moving image restoration method, a restoration apparatus, and a providing medium capable of excellently restoring a moving image.

【００３０】[0030]

【発明を解決するための手段】上述の課題を解決するた
めに、この発明に係る動画像の修復方法は、連続した複
数の画像から構成される動画像中の画素情報の欠落を修
復する動画像の修復方法において、画素情報が欠落した
修復対象画像の前後の少なくとも１つの画像における、
上記欠落画素に対応する画像部分の情報に基づいて、画
像が時間方向に連続であるように上記欠落画素を修復す
る連続性維持工程を有することにより、上述の課題を解
決する。SUMMARY OF THE INVENTION In order to solve the above-mentioned problem, a moving image restoration method according to the present invention provides a moving image for restoring missing pixel information in a moving image composed of a plurality of continuous images. In the image restoration method, in at least one image before and after the image to be repaired in which pixel information is missing,
The above-described problem is solved by including a continuity maintaining step of restoring the missing pixel so that the image is continuous in the time direction based on information on an image portion corresponding to the missing pixel.

【００３１】また、本発明に係る動画像の修復装置は、
連続した複数の画像から構成される動画像中の画素情報
の欠落を修復する動画像の修復装置において、画素情報
が欠落した修復対象画像の前後の少なくとも１つの画像
における、上記欠落画素に対応する画像部分の情報に基
づいて、画像が時間方向に連続であるように上記欠落画
素を修復する連続性維持処理を制御する制御手段を有す
ることにより、上述の課題を解決する。Further, the moving image restoration apparatus according to the present invention comprises:
In a moving image repairing apparatus for repairing missing pixel information in a moving image composed of a plurality of continuous images, a moving image repairing apparatus corresponding to the missing pixel in at least one of the images before and after the repair target image having missing pixel information. The above-mentioned problem is solved by providing a control unit that controls a continuity maintaining process for restoring the missing pixel so that the image is continuous in the time direction based on the information of the image portion.

【００３２】さらに、本発明に係る提供媒体は、連続し
た複数の画像から構成される動画像中の画素情報の欠落
を修復する処理を制御装置に実行させるための制御情報
を提供する提供媒体において、画素情報が欠落した修復
対象画像の前後の少なくとも１つの画像における、上記
欠落画素に対応する画像部分の情報に基づいて、画像が
時間方向に連続であるように上記欠落画素を修復する制
御情報を有することにより、上述の課題を解決する。Further, the present invention provides a providing medium for providing control information for causing a control device to execute a process of restoring missing pixel information in a moving image composed of a plurality of continuous images. Control information for restoring the missing pixel so that the image is continuous in the time direction based on information of an image portion corresponding to the missing pixel in at least one image before and after the image to be repaired in which pixel information is missing. The above-mentioned subject is solved by having.

【００３３】[0033]

【発明の実施の形態】以下、本発明に係る動画像の修復
方法及び装置の好ましい実施の形態について、図面を参
照しながら説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS A preferred embodiment of a method and an apparatus for restoring a moving image according to the present invention will be described below with reference to the drawings.

【００３４】上記動画像の修復装置は、図４に示すよう
に、この装置の全体を制御する制御部１０と、データの
演算を集中して行う中央処理部２１と、データを保存す
るメモリ２２とを有している。As shown in FIG. 4, the moving image restoration apparatus includes a control unit 10 for controlling the entire apparatus, a central processing unit 21 for centralizing data calculations, and a memory 22 for storing data. And

【００３５】上記制御部１０は、この装置の各部に対し
て制御を行うコントローラである。この制御部１０は、
上記中央処理部２１と、上記メモリ２２とデータの送受
を行い、これら中央処理部２１及びメモリ２２と一体と
なって上記画像内の領域設定方法に係る一連の手順を実
行する。また、この制御部１０には、マウス２３と、ペ
ン／タブレット２４と、画像入力２６とからデータが入
力し、ＣＲＴ２５にデータを出力している。The control section 10 is a controller for controlling each section of the apparatus. This control unit 10
The central processing unit 21 and the memory 22 transmit and receive data, and execute a series of procedures related to a method for setting an area in the image integrally with the central processing unit 21 and the memory 22. The control unit 10 receives data from a mouse 23, a pen / tablet 24, and an image input 26, and outputs data to a CRT 25.

【００３６】上記中央処理部２１は、データに係る演算
を集中して行うプロセッサである。この中央処理部２１
は、上記制御部１０に接続され、この制御部１０の制御
の下に、この制御部１０から与えられたデータについて
演算を行う。The central processing unit 21 is a processor that performs operations relating to data in a concentrated manner. This central processing unit 21
Is connected to the control unit 10 and performs an operation on data provided from the control unit 10 under the control of the control unit 10.

【００３７】上記メモリ２２は、データを保存する記憶
部である。このメモリ２２は、上記制御部１０に接続さ
れ、この制御部１０の制御の下に、データの書込み及び
読み出しをなされる。動画像の修復を行なうプログラム
も、このメモリ２２に記憶されている。また、メモリ２
２は、ＲＯＭ（Read Only Memory）とＲＡＭ（RandomAc
cess Memory）等の２種類のメモリから構成することも
可能であるし、いずれか一方で構成してもよい。２種類
のメモリで構成する場合には、例えば、ＣＤ−ＲＯＭと
半導体メモリとの組み合わせなどが考えられる。The memory 22 is a storage unit for storing data. The memory 22 is connected to the control unit 10, and writes and reads data under the control of the control unit 10. A program for restoring a moving image is also stored in the memory 22. Also, memory 2
2 is ROM (Read Only Memory) and RAM (Random Ac
cess memory) or one of them. When using two types of memories, for example, a combination of a CD-ROM and a semiconductor memory can be considered.

【００３８】また、上記修復装置は、入力手段としてマ
ウス２３及びペン／タブレット２４を、出力手段として
ＣＲＴ２５を有している。The above-mentioned restoration device has a mouse 23 and a pen / tablet 24 as input means and a CRT 25 as output means.

【００３９】上記マウス２３は、掌に握って操作するこ
とができる程度の大きさの筐体を有するポインティング
デバイスである。このマウス２３は、例えば机上のよう
な平坦面上を所望の方向に所望の距離摺動されることに
より、例えばＣＲＴ２５上に表示されたカーソルの位置
を入力される。そして、このマウス２３は、入力された
位置に係るデータを上記制御部１０に伝送する。The mouse 23 is a pointing device having a casing large enough to be operated by holding it with the palm. The mouse 23 is slid in a desired direction and a desired distance on a flat surface such as a desk, for example, to input a position of a cursor displayed on the CRT 25, for example. Then, the mouse 23 transmits data relating to the input position to the control unit 10.

【００４０】上記ペン／タブレット２４は、略々直方体
状の平坦な筐体を有し、この平坦な主面の１にマトリッ
クス状に配設された複数の検知素子を備え、このマトリ
ックス上の位置を検知するタブレットと、このタブレッ
トの主面をペン先にてなぞることにより位置を入力する
ペンとの一組からなる入力手段である。このペン／タブ
レット２４は、入力された位置に係るデータを上記制御
部１０に伝送する。The pen / tablet 24 has a substantially rectangular parallelepiped flat casing, and has a plurality of sensing elements arranged in a matrix on one of its flat main surfaces. And a pen for inputting a position by tracing the main surface of the tablet with a pen tip. The pen / tablet 24 transmits data relating to the input position to the control unit 10.

【００４１】上記ＣＲＴ２５は、画像に係るデータを陰
極線の管面に配設された複数の画素に画像として表示す
る出力手段である。このＣＲＴ２５は、上記制御部１０
から画像に係るデータを伝送され、このデータを画像と
して表示する。The CRT 25 is an output means for displaying data relating to an image as an image on a plurality of pixels arranged on the cathode ray tube surface. The CRT 25 includes the control unit 10
Transmits data relating to an image, and displays the data as an image.

【００４２】次に、動画像の修復方法に係る一連の工程
を、図５に示すデータフロー図を参照して説明する。こ
のデータフロー図の構成要素であるブロックは、四辺形
はデータを、楕円形は処理モジュールを表している。簡
単のため、図中では動画像の最初の３フレームに関する
処理だけを示してあるが、これより長い動画像について
も図示する処理の繰り返しとなる。Next, a series of steps relating to the moving image restoration method will be described with reference to a data flow diagram shown in FIG. In the blocks which are components of this data flow diagram, a quadrilateral represents data, and an ellipse represents a processing module. For the sake of simplicity, only the processing for the first three frames of the moving image is shown in the figure, but the processing shown in the drawing is repeated for a moving image longer than this.

【００４３】一般にｎを整数として“ＰＯＣＳｎ”と書
いてある処理モジュール、即ち図中の“ＰＯＣＳ０”Ｓ
１３、“ＰＯＣＳ１”Ｓ２３及び“ＰＯＣＳ２”Ｓ３３
は、第ｎ番目のフレームに対する、単一フレームでの修
復処理を示す。Generally, a processing module in which "POCSn" is written with n as an integer, that is, "POCS0" S
13, “POCS1” S23 and “POCS2” S33
Indicates a repair process for the n-th frame in a single frame.

【００４４】ここで使用するアルゴリズムは、特願平７
−３０３４２０号及び特願平８−２０４７７６号の各明
細書中に記載されている、ＰＯＣＳ（Projection Onto
Convex Sets ）という数学原理に基づく修復アルゴリズ
ムを使用する。その詳細はこれらの明細書および、発明
者らによる論文、Anil N.Hirani，Takashi Totsuka
著、"Combining frequency and spatial domain inform
ation for fast interactive image noise removal"，C
omputer Graphics Proceedings (SIGGRAPH96)，pp.296-
276.に詳細に説明されている。この“ＰＯＣＳｎ”のモ
ジュールでは繰り返しによる修復計算の１回分を実行す
る。The algorithm used here is disclosed in Japanese Patent Application No.
No. 3,303,420 and Japanese Patent Application No. 8-204776, POCS (Projection Onto
Convex Sets), a repair algorithm based on mathematical principles. The details are described in these specifications and the papers by the inventors, Anil N. Hirani, Takashi Totsuka
Author, "Combining frequency and spatial domain inform
ation for fast interactive image noise removal ", C
omputer Graphics Proceedings (SIGGRAPH96), pp.296-
276. describes in detail. In this “POCSn” module, one restoration calculation by repetition is executed.

【００４５】このアルゴリズムは修復の対象となる（修
復すべきキズなどがある）原画像（一般には“原画像＃
ｎ”、図中では“原画像＃０”Ｓ１２、“原画像＃１”
Ｓ２２及び“原画像＃２”Ｓ３２と図示）と、この原画
像上の、修復すべき領域とその際に参照する領域との位
置の情報（一般には“位置情報＃ｎ”、図中には“位置
情報＃０”Ｓ１１、“位置情報＃１”Ｓ２１及び“位置
情報＃２”Ｓ３１と図示）とを必要とする。図６はこれ
を説明するもので、キズ（図中の黒い曲線）３を修復す
るために、これを含む修復対象領域２と、その際に見
本、つまりサンプルにして使用する参照領域１とが図示
してある。In this algorithm, an original image to be restored (there is a flaw to be repaired, etc.)
n, “Original image # 0” S12, “Original image # 1” in the figure.
S22 and “original image # 2” S32), and information on the position of the area to be restored and the area to be referred to in this original image (generally “position information #n”; "Position information # 0" S11, "position information # 1" S21 and "position information # 2" S31 (shown) are required. FIG. 6 explains this. In order to repair a flaw (black curve in the figure) 3, a repair target area 2 including the same and a reference area 1 used as a sample, that is, a sample at that time, are used. It is shown.

【００４６】即ち、このフレーム３１においては、図中
略々左下に図中横方向を長手方向としてキズ３が形成さ
れている。そして、このフレーム３１においては、上記
キズ３を囲むように、このフレーム３１の対向する辺に
各辺が平行な略々矩形の修復対象領域２が設定されてい
る。また、このフレーム３１の図中の略々右上には、こ
のフレーム３１の対向する辺に各辺が平行になるように
上記修復対象領域２と同一形状の参照領域１が設定され
ている。That is, in the frame 31, a flaw 3 is formed substantially at the lower left in the figure, with the horizontal direction in the figure as the longitudinal direction. In the frame 31, a substantially rectangular repair target area 2 in which each side is parallel to the opposite side of the frame 31 is set so as to surround the flaw 3. In addition, a reference area 1 having the same shape as the repair target area 2 is set substantially at the upper right of the frame 31 in the drawing so that each side is parallel to the opposite side of the frame 31.

【００４７】これらの四辺形領域は適切なグラフィカル
・ユーザ・インタフェース（ＧＵＩ）を用いて入力する
ことができる。These quadrilateral regions can be entered using a suitable graphical user interface (GUI).

【００４８】さて、ＰＯＣＳに基づく画像修復を１回行
うと、ある程度修復された結果が得られる。これが“Ｐ
ＯＣＳ結果画像＃ｎ”、図中では“ＰＯＣＳ結果画像＃
０”Ｓ１４、“ＰＯＣＳ結果画像＃１”Ｓ２４及び“Ｐ
ＯＣＳ結果画像＃２”Ｓ３４で図示する画像である。特
願平７−３０３４２０号の明細書中などに記載されてい
る従来の方法では、この結果を再び直接“ＰＯＣＳｎ”
モジュールに入れて反復し、修復画像を望ましい結果に
収束させていた。しかし、本発明では、“ＰＯＣＳ結果
画像＃ｎ”の画像をさらに“平均処理ｎ”、図中の“平
均処理０”Ｓ１５、“平均処理１”Ｓ２５及び“平均処
理２”Ｓ３５で図示する平均処理モジュールに送る。こ
こでは、前後のフレームにおける対応箇所の画像と、修
復対象領域との重み付き平均を計算し、それを修復対象
領域に書きもどす処理を行う。When the image restoration based on the POCS is performed once, a result of the restoration to some extent is obtained. This is "P
OCS result image #n, “POCS result image # in the figure”
0 ”S14,“ POCS result image # 1 ”S24 and“ P
OCS result image # 2 "is an image shown in S34. In the conventional method described in the specification of Japanese Patent Application No. 7-303420, this result is directly again used as" POCSn ".
Iterating in the module converged the repaired image to the desired result. However, according to the present invention, the image of the “POCS result image #n” is further averaged by “averaging process n”, and “averaging process 0” S15, “averaging process 1” S25 and “averaging process 2” S35 in the figure. Send to processing module. Here, a process of calculating a weighted average of the image of the corresponding portion in the preceding and succeeding frames and the restoration target area and writing it back to the restoration target area is performed.

【００４９】動画像であるから、画像内の物体は動いて
いる。そのため、前後のフレームにおける対応箇所は、
同じ座標の場所にあるとは限らない。従って、予め対応
箇所がどこにあるかを求めておく必要がある。これを行
うのが“マッチングｎ ｎ＋１”という名前の付いたモ
ジュール、図中では“マッチング０１”及び“マッチン
グ１２”である。Since the image is a moving image, the object in the image is moving. Therefore, the corresponding parts in the front and rear frames are
They are not always at the same coordinates. Therefore, it is necessary to determine in advance where the corresponding location is. This is done by the modules named "matching n n + 1", in the figure "matching 01" and "matching 12".

【００５０】図７はこれを説明するものである。同図中
のＡは、第ｉ−１フレーム３０であり、この第ｉ−１フ
レーム３０の中央略々左上には、図中右下方向に向かっ
て移動する移動体４１が表示されている。この第ｉ−１
フレーム３０の中央やや左下には、この第ｉ−１フレー
ム３０の対向する辺と各辺が平行な矩形状の対応領域５
が設定されている。この対応領域５については後述す
る。同図中のＢは、第ｉフレーム３１であり、この第ｉ
フレーム３１の中央やや下には、図中右下方向に移動す
る移動体４１が表示されている。この第ｉフレーム３１
中央やや左下には、図中略々右上を長手方向とする略々
矩形状のキズ３が含まれている。そして、このキズ３を
囲むように、この第ｉフレーム３１の略々中央やや下に
は、この第ｉフレーム３１の対向する辺と各辺が平行な
矩形状の修復対象領域２が設定されている。同図中のＣ
は、第ｉ＋１フレーム３２であり、この第ｉ＋１フレー
ム３２の中央右下には、図中右下方向に移動する移動体
４１が表示されている。この第ｉ＋１フレーム３２の略
々中央やや右下には、この第ｉ＋１フレーム３２の対向
する辺と各辺が平行な矩形状の対応領域５が設定されて
いる。FIG. 7 explains this. A in the figure is the (i-1) th frame 30, and a moving body 41 that moves toward the lower right in the figure is displayed at the upper left of the center of the (i-1) th frame 30. This i-1
In the center and slightly lower left of the frame 30, a rectangular corresponding region 5 in which each side is parallel to the opposite side of the (i-1) th frame 30
Is set. The corresponding area 5 will be described later. B in the figure is the i-th frame 31, and this i-th frame 31
At a slightly lower portion of the center of the frame 31, a moving body 41 that moves in the lower right direction in the figure is displayed. This i-th frame 31
At the center slightly lower left, a substantially rectangular flaw 3 whose longitudinal direction is substantially the upper right in the figure is included. A rectangular repair target area 2 in which each side is parallel to the opposite side of the i-th frame 31 is set substantially at the center and slightly below the i-th frame 31 so as to surround the flaw 3. I have. C in FIG.
Is the (i + 1) th frame 32, and at the lower right of the center of the (i + 1) th frame 32, a moving body 41 that moves in the lower right direction in the figure is displayed. Substantially at the center and slightly lower right of the (i + 1) th frame 32, a rectangular corresponding area 5 is set in which each side is parallel to the opposite side of the (i + 1) th frame 32.

【００５１】対応する領域を別のフレーム上で探索する
方法としては、例えばブロックマッチングを使用する。
ブロックマッチングは、ある領域（ブロック）と最も似
ている領域を別の場所から見出す方法である。上記図７
の場合、第ｉフレーム３１上の修復対象領域２と同じ大
きさの領域を第ｉ−１フレーム３０に設け、これら領域
内の各画素値の差の二乗和を求める。この二乗和の値が
最も小さくなるように第ｉ−１フレーム３０内で上記領
域の位置をずらしていく。こうして求まったのが図中の
第ｉ−１フレーム３０において破線で示した対応領域５
である。第ｉ＋１フレーム３２の破線領域も同様にして
求まる。もちろん、二乗和の代用として、絶対値和を用
いても同様な処理が可能である。As a method of searching for a corresponding area on another frame, for example, block matching is used.
Block matching is a method of finding an area most similar to a certain area (block) from another place. FIG. 7 above
In the case of (1), a region having the same size as the restoration target region 2 on the i-th frame 31 is provided in the (i-1) -th frame 30, and the sum of squares of the differences between the pixel values in these regions is obtained. The position of the area is shifted in the (i-1) th frame 30 so that the value of the sum of squares is minimized. The corresponding area 5 indicated by a broken line in the (i-1) th frame 30 in the drawing is obtained in this manner.
It is. The broken line area of the (i + 1) th frame 32 is obtained in the same manner. Of course, the same processing can be performed by using the sum of absolute values as a substitute for the sum of squares.

【００５２】こうして対応する箇所の探索を実行した
ら、“マッチング０１”モジュールは第０フレームの修
復対象領域と対応する第１フレームにおける領域の位置
を“平均処理０”モジュールに、また、逆に第１フレー
ムの修復対象領域と対応する第０フレームにおける領域
の位置は“平均処理１”モジュールにそれぞれ送る。他
のフレームにおいても同様である。After the search for the corresponding portion is performed, the “matching 01” module sets the position of the area in the first frame corresponding to the area to be repaired in the 0th frame to the “averaging processing 0” module, and conversely, the “matching 01” module. The position of the area in the 0th frame corresponding to the area to be repaired in one frame is sent to the “averaging process 1” module. The same applies to other frames.

【００５３】“平均処理ｎ”モジュールはこうして求ま
った対応関係を使用して前後のフレームから画像を読み
出し、前述のように重み付き平均を算出する。これは Wn-1 * Image[n-1] + Wn * Image[n] + Wn+1 * Image[n+1] ・・・ (1) という式で表される計算である。式中、Ｉｍａｇｅ
［ｉ］は第ｉフレームにおけるＰＯＣＳモジュール
（“ＰＯＣＳ ｉ”）の出力、つまり“ＰＯＣＳ結果画
像＃ｉ”で図示される画像のことであり、Ｗｉは第ｉ番
目のフレームの重みである。重みを変化させることで、
前後の連続性をどれくらい強くするかを制御できる。通
常はＷｎ−１＝０．２，Ｗｎ＝０．６，Ｗｎ＋１＝０．
２を使用する。The "average processing n" module reads the image from the preceding and succeeding frames using the correspondence thus obtained, and calculates the weighted average as described above. This is a calculation represented by the formula: Wn-1 * Image [n-1] + Wn * Image [n] + Wn + 1 * Image [n + 1] (1) Where Image
[I] is the output of the POCS module (“POCS i”) in the i-th frame, that is, the image shown as “POCS result image #i”, and Wi is the weight of the i-th frame. By changing the weight,
You can control how strong the continuity is before and after. Usually, Wn-1 = 0.2, Wn = 0.6, Wn + 1 = 0.
Use 2.

【００５４】以上のようにして重み付き平均を求めた結
果を修復領域内に書きもどし、領域外はもとの“ＰＯＣ
Ｓ結果画像＃ｎ”画像のままとする。こうして求まった
修復結果画像を上記図５においては“修復結果画像＃
ｎ”、具体的には図中の“修復結果画像＃０”Ｓ１６、
“修復結果画像＃１”Ｓ２６及び“修復結果画像＃２”
Ｓ３６として図示している。The result of obtaining the weighted average as described above is written back in the repair area, and the outside of the area is returned to the original "POC".
The S-result image #n is left as the “result-result image #” in FIG.
n ”, specifically,“ restoration result image # 0 ”S16 in the figure,
“Restoration result image # 1” S26 and “Restoration result image # 2”
This is shown as S36.

【００５５】以上が画像修復のための反復計算の１サイ
クルである。これを繰り返すことで次第にきれいに修復
されていく。反復計算の結果、画像が収束し、“修復結
果画像＃ｎ”の画像が、前回の反復計算とほとんど同一
になったとき、反復処理を終了する。こうして、動画像
の修復全体が完了する。The above is one cycle of iterative calculation for image restoration. By repeating this, it will be gradually restored. As a result of the iterative calculation, the image converges, and when the image of the “restoration result image #n” becomes almost the same as the previous iterative calculation, the iterative processing ends. Thus, the entire restoration of the moving image is completed.

【００５６】続いて、上述の動画像の修復方法の一連の
工程の処理をソフトウェアにより実現した第１の具体例
を、図８を参照して説明する。Next, a first specific example in which the processing of a series of steps of the above-described moving image restoration method is realized by software will be described with reference to FIG.

【００５７】最初のステップＳ４１では、第０フレーム
から第Ｎ−１フレームまでの各フレームにおける修復す
べき修復対象領域と、その際に参照する参照領域とを、
グラフィカル・ユーザ・インタフェースを用いて入力す
る。そして、次のステップＳ４２に進む。In the first step S41, a repair target area to be repaired in each frame from the 0th frame to the (N-1) th frame and a reference area to be referred to at that time are determined.
Input using a graphical user interface. Then, the process proceeds to the next step S42.

【００５８】ステップＳ４２においては、修復対象領域
と対応する前後のフレーム上の領域の探索を行う。これ
は上記図５における“マッチング ｎ ｎ＋１”モジュ
ールの役割に対応する。ステップＳ４２は、ステップＳ
４３、ステップＳ４４及びステップＳ４５から構成され
ている。このステップＳ４２は、第０フレームから第Ｎ
−１フレームまでの全てのフレームについて、ステップ
Ｓ４３乃至ステップＳ４５を実行する。ステップＳ４３
においては、修復対象領域と対応する前のフレーム上の
領域の探索を行い、座標オフセット（修復対象領域か
ら、どれだけずれた場所に対応領域があるか）を変数に
格納している。ステップＳ４４においては、次のフレー
ム上に対応領域を求めて、座標オフセットを変数に格納
している。さらにステップＳ４５では中間結果を格納す
る画像の配列ｉｍａｇｅ［ｉ］を、原画像の値で初期化
している。第０フレームから第Ｎ−１フレームまでの全
てのフレームについて、以上の処理が整うと、これに続
くステップＳ４６に進む。In step S42, a search is made for an area on the previous and next frames corresponding to the area to be repaired. This corresponds to the role of the “matching n n + 1” module in FIG. Step S42 is a step S42.
43, step S44 and step S45. This step S42 is performed from the 0th frame to the Nth frame.
Steps S43 to S45 are executed for all frames up to −1 frame. Step S43
In, a search is made for a region on the frame before the region corresponding to the repair target region, and the coordinate offset (how far the corresponding region is shifted from the repair target region) is stored in a variable. In step S44, a corresponding area is obtained on the next frame, and the coordinate offset is stored in a variable. Further, in step S45, the array image [i] of the image storing the intermediate result is initialized with the value of the original image. When the above processing is completed for all the frames from the 0th frame to the (N-1) th frame, the process proceeds to the subsequent step S46.

【００５９】ステップＳ４６においては、画像修復の反
復計算全体である。このステップＳ４６は、ステップＳ
４７及びステップＳ４９から構成されている。このステ
ップＳ４６は、ステップＳ４７及びステップＳ４９を収
束するまで繰り返す。上記ステップＳ４７はステップＳ
４８から構成され、ステップＳ４９はステップＳ５０か
ら構成されている。Step S46 is the entire iterative calculation of image restoration. This step S46 is equivalent to step S
47 and step S49. Step S46 is repeated until steps S47 and S49 converge. Step S47 is a step S47.
48, and step S49 includes step S50.

【００６０】ステップＳ４７のループの内部では、まず
フレーム内の修復をステップＳ４８で実施する。これは
図５におけるＰＯＣＳモジュールの処理に相当する。こ
れを第０フレームから第Ｎ−１フレームまでの全フレー
ムについて実施する。In the loop of step S47, first, restoration in the frame is performed in step S48. This corresponds to the processing of the POCS module in FIG. This is performed for all frames from the 0th frame to the (N-1) th frame.

【００６１】ついで、ステップＳ４９において、本発明
に直接関係する時間軸方向（前後フレーム）の重み付け
平均処理が実施される。ループ内の各フレームに対する
処理をステップＳ５０で行う。このステップＳ５０で
は、まず前のフレームの画像を、ステップＳ４３で求め
たオフセットだけずらす操作を行う。これは後の平均処
理を簡単にするものである。同様に、次のフレームの画
像を、今度はステップＳ４４で求めたオフセットだけず
らす操作を行う。これらの操作によって、修復領域と、
それに対応する前後フレームの対応領域が同じ座標上で
ぴったり重なるようになる。その後、修復領域と上記処
理によってずらされた前後フレームの対応領域との重み
付け平均を前述の式に基づいて演算し、演算結果をＩｍ
ａｇｅ［ｉ］に再格納する。以上の処理を第０フレーム
から第Ｎ−１フレームまでの各フレームについて繰り返
し実施してステップＳ４９は終了する。さらに画像全体
が収束したら（各フレームについて、前回の繰り返し時
と比べ、画像の差の絶対値和が所定の闘値以下であれ
ば）、修復が完了したと判断しステップＳ４６を終え
て、処理全体が完了する。Next, in step S49, weighted averaging processing in the time axis direction (front and rear frames) directly related to the present invention is performed. The process for each frame in the loop is performed in step S50. In step S50, first, an operation of shifting the image of the previous frame by the offset obtained in step S43 is performed. This simplifies the subsequent averaging process. Similarly, an operation is performed to shift the image of the next frame by the offset obtained in step S44. With these operations, the repair area and
Corresponding regions of the preceding and succeeding frames corresponding thereto are exactly overlapped on the same coordinates. After that, the weighted average of the repaired area and the corresponding area of the previous and next frames shifted by the above processing is calculated based on the above-described equation, and the calculation result is Im
re-stored in age [i]. The above process is repeatedly performed for each frame from the 0th frame to the (N-1) th frame, and the step S49 ends. Further, when the entire image converges (if the sum of the absolute values of the differences between the images is equal to or less than a predetermined threshold value for each frame as compared with the previous repetition), it is determined that the restoration has been completed, and step S46 is terminated. The whole is completed.

【００６２】なお、ステップＳ５０において、平均化処
理を実施する時点において前フレームの画像Ｉｍａｇｅ
［ｉ−１］についてはすでに１回目のステップＳ４９ル
ープの繰り返しにおいて平均化処理を施した画像が格納
されており、現在修復中の画像Ｉｍａｇｅ［ｉ］と次の
フレームの画像Ｉｍａｇｅ［ｉ＋１］に関してはまだス
テップＳ５０を完了していないので、当然ながら平均化
処理前の画像が格納されている。このように、Ｉｍａｇ
ｅ［ｉ−１］については先んじたデータを使用している
が、これは寧ろデータの収束を早めるもので、問題はな
い。In step S50, when the averaging process is performed, the image Image of the previous frame is obtained.
For [i-1], the image that has been subjected to the averaging process in the first iteration of the step S49 loop is already stored, and the image Image [i] currently being restored and the image Image [i + 1] of the next frame are stored. Since the step S50 has not been completed yet, the image before the averaging process is stored as a matter of course. Thus, Imag
Although the preceding data is used for e [i-1], this speeds up the convergence of the data, and there is no problem.

【００６３】以上に述べたように、従来の方法によるフ
レーム内での修復と、本発明による前後フレームとの平
均化処理とを交互に施すことにより、複数フレームにわ
たる連続性の良好な、つまり動画として高い品質の修復
が可能となる。As described above, by alternately performing restoration within a frame by the conventional method and averaging processing between the previous and next frames according to the present invention, good continuity over a plurality of frames, that is, a moving image is obtained. As a result, high quality restoration becomes possible.

【００６４】さて、以上に述べた実施例では、修復処理
は全てのフレームについて同時に行う。このため修復の
連続性きわめて良好であるが、全体の処理が終了するま
で結果画像が得られない。In the above-described embodiment, the restoration process is performed on all the frames at the same time. For this reason, the continuity of the restoration is very good, but a result image cannot be obtained until the entire processing is completed.

【００６５】続いて、フレームを順次処理しながら、次
々に結果をオペレータに出力することが可能な方式をソ
フトウェアにて実現した第２の具体例を、図９に示すフ
ローチャートを参照して説明する。Next, a second specific example in which a method capable of sequentially outputting results to an operator while sequentially processing frames is realized by software will be described with reference to a flowchart shown in FIG. .

【００６６】最初のステップＳ５１では、第０フレーム
から第Ｎ−１フレームまでの各フレームにおける修復す
べき修復対象領域と、その際に参照する参照領域とを、
グラフィカル・ユーザ・インタフェースを用いて入力す
る。そして、次のステップＳ５２に進む。In the first step S51, a repair target area to be repaired in each frame from the 0th frame to the (N-1) th frame and a reference area to be referenced at that time are determined.
Input using a graphical user interface. Then, the process proceeds to the next step S52.

【００６７】ステップＳ５２においては、修復対象領域
と対応する前後のフレーム上の領域の探索を行う。これ
は上記図５における“マッチング ｎ ｎ＋１”モジュ
ールの役割に対応する。 ステップＳ５２は、ステップ
Ｓ５３、ステップＳ５４及びステップＳ５５から構成さ
れている。このステップＳ５２は、第０フレームから第
Ｎ−１フレームまでの全てのフレームについて、ステッ
プＳ５３乃至ステップＳ５５を実行する。ステップＳ５
３においては、修復対象領域と対応する前のフレーム上
の領域の探索を行い、座標オフセット（修復体小領域か
ら、どれだけずれた場所に対応領域があるか）を変数に
格納している。ステップＳ５４においては、次のフレー
ム上に対応領域を求めて、座標オフセットを変数に格納
している。さらにステップＳ５５では中間結果を格納す
る画像の配列ｉｍａｇｅ［ｉ］を、原画像の値で初期化
している。第０フレームから第Ｎ−１フレームまでの全
てのフレームについて、以上の処理が整うと、これに続
くステップＳ５６に進む。In step S52, a search is made for an area on the previous and next frames corresponding to the area to be repaired. This corresponds to the role of the “matching n n + 1” module in FIG. Step S52 includes Step S53, Step S54, and Step S55. In this step S52, steps S53 to S55 are executed for all frames from the 0th frame to the (N-1) th frame. Step S5
In 3, a search is made for an area on the previous frame corresponding to the area to be repaired, and the coordinate offset (how far the corresponding area is shifted from the repaired small area) is stored in a variable. In step S54, a corresponding area is obtained on the next frame, and the coordinate offset is stored in a variable. Further, in step S55, an array image [i] of the image storing the intermediate result is initialized with the value of the original image. When the above processing is completed for all the frames from the 0th frame to the (N-1) th frame, the process proceeds to the subsequent step S56.

【００６８】なお、これらステップＳ５１及びステップ
Ｓ５２は、それぞれ上記ステップＳ４１及びステップＳ
４２と同一である。修復処理の本体は以下のステップＳ
５６であるが、ここのアルゴリズムが図８を用いて説明
した上述の具体例と異なる。Steps S51 and S52 correspond to steps S41 and S52, respectively.
Same as 42. The main body of the restoration process is the following step S
56, but the algorithm here differs from the specific example described above with reference to FIG.

【００６９】このステップＳ５６は、ステップＳ５７及
びステップＳ５８から構成されている。そして、このス
テップＳ５６は、ステップＳ５７及びステップＳ５８を
第０フレームから第Ｎ−１フレームまでの全てのフレー
ムについて実行する。このステップＳ５８は、ステップ
Ｓ５９及びステップＳ６０から構成されている。This step S56 comprises steps S57 and S58. Then, in step S56, steps S57 and S58 are executed for all frames from the 0th frame to the (N-1) th frame. This step S58 is composed of steps S59 and S60.

【００７０】そのループの中でステップＳ５７では、ま
ず前のフレームの画像を、ステップＳ５３で求めたオフ
セットだけずらす操作を行い、次いで次のフレームの画
像に対しても同様な操作を行う。この部分は、第１の具
体例、つまり図８におけるステップＳ５０の最初の部分
と同じ機能である。次いでステップＳ５８では修復処理
を反復計算によって実施する。まずステップＳ５９はフ
レーム内の修復を実施する。これは図５におけるＰＯＣ
Ｓモジュール、および、図８におけるステップＳ４８処
理と同じである。次いで、平均化処理を実施するのがス
テップＳ６０である。この処理は上記図８のステップＳ
５０に相当するが、次のフレームの対応領域ｒｅｆＮｅ
ｘｔの中にキズにより情報が欠落している画素が含まれ
る場合には、その画素の情報を使用せずに平均化を行う
点が異なる。In step S57 in the loop, the operation of shifting the image of the previous frame by the offset obtained in step S53 is first performed, and then the same operation is performed on the image of the next frame. This part has the same function as the first specific example, that is, the first part of step S50 in FIG. Next, in step S58, the restoration process is performed by iterative calculation. First, in step S59, restoration within the frame is performed. This is the POC in FIG.
This is the same as the S module and the processing in step S48 in FIG. Next, the averaging process is performed in step S60. This processing is performed in step S in FIG.
50, but the corresponding area refNe of the next frame
If xt includes a pixel whose information is missing due to a flaw, averaging is performed without using the information of the pixel.

【００７１】次のフレームの対応領域ｒｅｆＮｅｘｔ中
の画素の正しい値がわかっている場合には第１の具体例
と場合と同じくを用いるが、次のフレームの対応領域ｒ
ｅｆＮｅｘｔ中の画素の正しい値が不明な場合は以下の
式 Kn-1 * Image[n-1] + Kn * Image[n] ・・・ (2) を用いて平均化処理を行う。When the correct value of the pixel in the corresponding area refNext of the next frame is known, the same as in the first specific example is used, but the corresponding area r of the next frame is used.
If the correct value of the pixel in efNext is unknown, an averaging process is performed using the following equation: Kn-1 * Image [n-1] + Kn * Image [n] (2).

【００７２】図１０は、第ｉフレーム３１の修復中の様
子を詳しく図示するものである。図中のＡには第ｉ−１
フレーム３０が、図中のＢには第ｉフレーム３１が、図
中のＣには第ｉ＋１フレーム３２が表示されている。こ
れら図中のＡ乃至Ｃのフレーム３０乃至３２に表示され
ている画像は、上記図７中のＡ乃至Ｃに表示されている
画像と同一であるので説明を省略する。但し、図中Ｂの
第ｉフレーム３１に表示されている修復対象領域２に
は、図中縦方向に１画素幅の領域４が示されている。FIG. 10 is a diagram showing in detail how the i-th frame 31 is being repaired. A in FIG.
In the frame 30, the i-th frame 31 is displayed in B in the figure, and the (i + 1) -th frame 32 is displayed in C in the figure. The images displayed in frames 30 to 32 of A to C in these figures are the same as the images displayed in A to C in FIG. However, in the restoration target area 2 displayed in the i-th frame 31 in the figure B, an area 4 having a width of one pixel is shown in the vertical direction in the figure.

【００７３】上述した第２の具体例では、修復処理は前
のフレームから順に完了するので第ｉ−１フレーム３０
はすでに完了している。図１１には、修復領域とそれと
対応する前後のフレームの領域を、１画素幅で取り出し
て並べたものを図示してある。図中の各列は左から順
に、第ｉ−１、ｉ、ｉ＋１、ｉ＋２、ｉ＋３フレームに
対応している。図中、黒で示した画素は第ｉフレーム３
１においてキズがある情報が欠落している画素を示し、
斜線を付した画素はそれ以降のフレームにおいて、やは
り情報が欠落している画素を示している。この図におけ
る黒で示した４画素が第ｉフレーム３１における修復の
対象であり、上記１画素幅の領域４に対応している。こ
のうち、上側の２画素については第ｉ−１フレーム３０
および第ｉ＋１フレーム３２において画素値の情報が存
在するから、この場合は上記式（１）に従って修復を行
う。なお、第ｉ−１フレーム３０に関しては、画素の情
報は原画像上に元々存在していた場合はもちろん、第ｉ
−１フレーム３０に対する修復処理の結果生成したデー
タである場合もある。In the above-described second specific example, the restoration processing is completed in order from the previous frame, so that the i-1 th frame 30
Has already been completed. FIG. 11 shows the restoration area and the corresponding frame areas before and after it, which are extracted and arranged with a width of one pixel. Each row in the figure corresponds to the (i−1), i, i + 1, i + 2, and i + 3 frames in order from the left. In the figure, the pixels shown in black are the i-th frame 3.
1 indicates a pixel in which information with a flaw is missing.
The hatched pixels indicate pixels for which information is still missing in subsequent frames. The four pixels shown in black in this figure are the objects to be restored in the i-th frame 31 and correspond to the above-mentioned region 4 having a width of one pixel. Among them, the upper two pixels are in the (i−1) th frame 30.
Since the pixel value information exists in the (i + 1) th frame 32 and in this case, the restoration is performed according to the above equation (1). In addition, regarding the (i-1) th frame 30, the pixel information originally exists in the original image, as well as the i-th frame.
In some cases, the data may be data generated as a result of the restoration process for the -1 frame 30.

【００７４】さて、一方下側の２画素については、第ｉ
＋１フレーム３２の画素情報が存在しない（キズのた
め、正しい値ではないので使用できない）ので、この場
合は上記式（２）を用いて平均化処理を実施する。Now, for the lower two pixels, the i-th pixel
Since the pixel information of the +1 frame 32 does not exist (it cannot be used because it is not a correct value because of a flaw), in this case, the averaging process is performed using the above equation (2).

【００７５】以上のように、ステップＳ６０では、画素
の正しい値がわかっているかどうかを条件に、平均化処
理の方式を切り替える。これが第１の具体例での平均化
処理との違いである。第２の具体例の方式によれば、各
フレームは順次修復が完了するので、修復が完了したも
のから画面に表示して確認するなどの用途に利用するこ
とができ、操作性の向上に寄与する。As described above, in step S60, the averaging method is switched on the condition that the correct value of the pixel is known. This is a difference from the averaging process in the first specific example. According to the method of the second specific example, since the restoration of each frame is completed sequentially, it can be used for purposes such as displaying on the screen and confirming the restoration from the completed one, contributing to improvement of operability. I do.

【００７６】以上に説明した第２の具体例では処理をフ
レーム番号の増加する方向に順次（昇順）行ったが、こ
れと同様な処理をフレーム番号が減少する方向に順次
（降順）実施することも可能である。この場合は、第ｉ
−１フレーム３０の画素の正しい値が分かっているかど
うかで平均化処理の式を切り替えればよい。平均化処理
を実施するので、フレーム番号の昇順であれ、降順であ
れ、処理の進んでいく方向に、フレーム内の画素の情報
は少しずつ減衰しながら伝播していく。従って、キズの
軽微な、あるいはキズのない画像が先頭にあるときは、
このフレームの情報が伝播しやすいフレーム番号昇順の
処理が好ましく、逆に動画像の際後にキズの軽妙な画像
がある場合は降順の処理が好ましい。In the second embodiment described above, the processing is sequentially performed in the direction of increasing the frame number (ascending order), but the same processing is sequentially performed in the direction of decreasing the frame number (descending order). Is also possible. In this case, the i-th
The equation of the averaging process may be switched depending on whether the correct value of the pixel of the -1 frame 30 is known. Since the averaging process is performed, the information of the pixels in the frame propagates in a direction in which the process proceeds, whether the frame number is ascending or descending, while attenuating little by little. Therefore, when an image with slight or no scratch is at the top,
It is preferable to perform processing in ascending order of frame numbers in which the information of the frame is easily transmitted, and conversely, in the case of a moving image, if there is an image with a light scratch, it is preferable to perform processing in descending order.

【００７７】この、昇順の処理と降順の処理とを組み合
わせることでさらに高品質の修復を行うことができる。
典型的には、いったん昇順の修復を実施した後に、その
結果を出発点として降順の修復をさらに実施する。この
方法により修復の品質が向上する理由を図１２を用いて
説明する。By combining the ascending order processing and the descending order processing, higher quality restoration can be performed.
Typically, once the ascending repair is performed, the results are used as a starting point to further perform the descending repair. The reason why the quality of restoration is improved by this method will be described with reference to FIG.

【００７８】図１２は、図１１と同じようにして連続す
る複数フレームから、１画素幅の領域を取り出してなら
べたものである。斜線を付した画素は、情報が欠落して
いる、つまり正しい値が不明の画素である。図上の数字
はフレーム番号を表す。この例では第０フレームと第４
フレームはキズが無く、中間のフレームにキズが存在す
る。さて、昇順の修復だけを実施した場合は、第０フレ
ームの情報は次第に減衰しながらも以降のフレームに伝
播していき連続性の確保と正しい画素値の伝播の役割も
はたすが、第４フレームに関してはせっかく正しい画素
値が分かっているにも関わらず、その情報は第３フレー
ムの修復でしか生かされない。それより前のフレームは
修復を完了しているからである。しかし、ここでさらに
降順の修復を追加すれば、今度は第４フレームの情報が
次第に前のフレームに伝播していくようになり、正しい
値が外地のフレームの情報が無駄なく周囲のフレームに
伝わるようになる。この結果、より品質の高い修復が可
能となる。FIG. 12 shows an area of one pixel width extracted from a plurality of continuous frames in the same manner as in FIG. Pixels with diagonal lines have missing information, that is, pixels whose correct values are unknown. The numbers on the figure represent frame numbers. In this example, the 0th frame and the 4th frame
The frame has no scratches, and the middle frame has scratches. When only the ascending order is restored, the information of the 0th frame is gradually attenuated and propagates to the subsequent frames, and plays a role of ensuring continuity and propagating a correct pixel value. Despite the fact that the correct pixel value is known, the information is only used in the restoration of the third frame. This is because the frames before that have been restored. However, if further restoration in descending order is added here, the information of the fourth frame will gradually propagate to the previous frame, and the correct value will be transmitted to the surrounding frames without wasting the information of the outside frame. Become like As a result, restoration with higher quality is possible.

【００７９】次に、上記図５に示した、“ＰＯＣＳ０”
Ｓ１３、“ＰＯＣＳ１”Ｓ２３、“ＰＯＣＳ２”Ｓ３３
等、一般には、“ＰＯＣＳｎ”のモージュールに対応す
る画像修復方法である特願平７−３０３４２０号明細書
や、特願平８−２０４７７６号明細書に記載された画像
内の雑音の修復方法のアルゴリズムについて説明する。
まず、上記アルゴリズムの第１の例の手順を、図１３に
示すフローチャートを参照して説明する。Next, the "POCS0" shown in FIG.
S13, “POCS1” S23, “POCS2” S33
For example, a method of restoring noise in an image described in Japanese Patent Application No. 7-303420 or Japanese Patent Application No. 8-204776, which is an image restoration method corresponding to a module of “POCSn”. Will be described.
First, the procedure of the first example of the above algorithm will be described with reference to the flowchart shown in FIG.

【００８０】最初のステップＳ６１においては、修復対
象画像の高速フーリエ変換（ＦＦＴ）を行い、ＦＦＴで
計算されたマグニチュード（Ｍ２）と位相（Ｐ２）を次
のステップＳ６２に送る。In the first step S61, the fast Fourier transform (FFT) of the image to be restored is performed, and the magnitude (M2) and the phase (P2) calculated by the FFT are sent to the next step S62.

【００８１】ここで、上記修復対象画像は、ユーザが選
択したキズ周辺の長方形の画像領域である。Here, the image to be repaired is a rectangular image area around the flaw selected by the user.

【００８２】一方、ステップＳ６６においては、参照画
像の高速フーリエ変換（ＦＦＴ）を行う。ＦＦＴの出力
は、参照画像のフーリエ変換の位相（Ｐ１）とマグニチ
ュード（Ｍ１）である。ここでは、位相（Ｐ１）は無視
され、マグニチュード（Ｍ１）は、後のステップＳ６２
で使用される。On the other hand, in step S66, a fast Fourier transform (FFT) of the reference image is performed. The output of the FFT is the phase (P1) and magnitude (M1) of the Fourier transform of the reference image. Here, the phase (P1) is ignored, and the magnitude (M1) is determined in a later step S62.
Used in.

【００８３】ここで、参照画像とは、ユーザが設定した
キズの画像領域を含まず修復対象画像と似ていて正確に
同じサイズの長方形の画像領域である。この選択した領
域を参照画像とする。Here, the reference image is a rectangular image area which does not include the image area of the flaw set by the user and which is similar to the image to be repaired and has exactly the same size. The selected area is set as a reference image.

【００８４】ステップＳ６２においては、マグニチュー
ドＭ１、Ｍ２の最小マグニチュードを計算する。マグニ
チュードＭ１は、参照画像のＦＦＴで得られるマグニチ
ュードであり、マグニチュードＭ２は、修復対象画像の
ＦＦＴで得られるマグニチュードである。この最小マグ
ニチュードの計算は、ＤＣ成分以外の全ての周波数成分
について行われる。ＤＣにおいては、マグニチュードＭ
２の値が選択される。最小値の計算により得られた新し
いマグニチュードを、次のステップＳ６３で行われる逆
フーリエ変換に使う値として送る。修復対象画像のＦＦ
Ｔで得られた位相情報Ｐ２は、変更されずに、次のステ
ップＳ６３に送られる。In step S62, the minimum magnitude of the magnitudes M1 and M2 is calculated. The magnitude M1 is a magnitude obtained by the FFT of the reference image, and the magnitude M2 is a magnitude obtained by the FFT of the restoration target image. The calculation of the minimum magnitude is performed for all frequency components other than the DC component. In DC, the magnitude M
A value of 2 is selected. The new magnitude obtained by the calculation of the minimum value is sent as a value used for the inverse Fourier transform performed in the next step S63. FF of the image to be restored
The phase information P2 obtained at T is sent to the next step S63 without being changed.

【００８５】ステップＳ６３においては、前のステップ
Ｓ６２で得られたマグニチュードと位相の出力を用い
て、逆高速フーリエ変換（ＩＦＦＴ）を行う。そして、
このＩＦＦＴの結果をステップＳ６４に送る。In step S63, an inverse fast Fourier transform (IFFT) is performed using the magnitude and phase outputs obtained in the previous step S62. And
The result of the IFFT is sent to step S64.

【００８６】ステップＳ６４においては、入力値を実数
にする。この入力値は、それらの内の幾つかは複素数で
ある可能性があるマトリクスである。マトリクスにおい
てそのような複素数の値は０に設定する。実数も０から
２５５の範囲外の可能性もあるので、クリッピングを行
う。即ち、値が０以下のときには、それを０にする。そ
れが２５５以上のときは、それを２５５にし、それ以外
であれば何もしない。そして、次のステップＳ６５に進
む。In step S64, the input value is set to a real number. This input value is a matrix, some of which may be complex. Such complex values in the matrix are set to zero. Since the real number may be out of the range of 0 to 255, clipping is performed. That is, when the value is 0 or less, it is set to 0. If it is greater than 255, it is set to 255, otherwise nothing is done. Then, the process proceeds to the next step S65.

【００８７】ステップＳ６５においては、バイナリマス
ク修復を行う。即ち、前のステップで得られた画素を元
の修復画像の画素と混合する。バイナリマスクは、選択
された修復対象領域を画像の他の領域から区別するため
のデータであり、例えば、修復対象領域の各画素に値
“０”を設定し、他の領域の各画素に値“１”を設定す
ることにより、修復領域を区別する。バイナリマスクか
ら離れている位置の画素の値は、この位置には雑音がな
いことが判っているので、元の修復画像の値とされる。
バイナリマスクの値が“０”である領域内では、元の修
復画像には雑音があり、またよりよい値が計算されたこ
とから、それらの値を用いる。In step S65, binary mask restoration is performed. That is, the pixels obtained in the previous step are mixed with the pixels of the original restored image. The binary mask is data for distinguishing the selected repair target area from other areas of the image. For example, a value “0” is set to each pixel of the repair target area, and a value is assigned to each pixel of the other area. By setting “1”, the restoration area is distinguished. The value of the pixel at a position distant from the binary mask is determined to be the original restored image value because it is known that there is no noise at this position.
In the area where the value of the binary mask is “0”, the original restored image has noise and a better value is calculated, so those values are used.

【００８８】ここで、バイナリマスクは、ユーザが雑音
領域の上に上書き（ペイント）したマスクである。この
バイナリマスクは、雑音の画素をカバーするのに十分な
大きさを有するが、正確に同じ形状のものである必要は
ない。Here, the binary mask is a mask overwritten (painted) on the noise area by the user. The binary mask is large enough to cover the noise pixels, but need not be exactly the same shape.

【００８９】また、ユーザは、ステップＳ６１からステ
ップＳ６５までのループを実行する回数を選択すること
ができる。The user can select the number of times to execute the loop from step S61 to step S65.

【００９０】上述の既存の画像修復方法の欠点を解決
し、連続する大きな領域の情報の欠落に対しても良好な
修復結果を得る方法として、上記特願平７−３０３４２
０号明細書や、特願平８−２０４７７６号明細書に記載
されたアルゴリズムがある。これらは、画像をきれいに
修復するための処理を周波数領域と空間領域の双方に分
けて実行することを特徴としている。これらの方式では
画像の大域的な特徴（全体の陰影や大きな模様）は別途
選んだ参照領域を参考にしつつ周波数領域にて復元し、
欠落部分と周辺領域の連続性など細部の修復は空間領域
で実施する。As a method of solving the above-mentioned drawbacks of the existing image restoration method and obtaining a satisfactory restoration result even when information is lost in a continuous large area, the above-mentioned Japanese Patent Application No. 7-30342 is disclosed.
No. 0 and the algorithm described in Japanese Patent Application No. 8-204776. These are characterized in that processing for restoring an image is performed separately in both the frequency domain and the spatial domain. In these methods, global features of the image (whole shading and large patterns) are restored in the frequency domain while referring to the reference area selected separately.
Restoration of details such as continuity between the missing part and the surrounding area is performed in the spatial domain.

【００９１】ここで、上記先願明細書中に示した画像修
復方法について、第２の例として図１４に示すフローチ
ャートを参照して説明する。Here, the image restoration method described in the specification of the prior application will be described as a second example with reference to a flowchart shown in FIG.

【００９２】最初のステップＳ７１においては、修復対
象画像にソフトノイズマスクを乗算する。その結果、元
のキズは、そのソフトノイズマスクの黒い領域により覆
われる。そのソフトノイズマスクのソフト範囲では、雑
音のエッジ近傍の位置で略々“０”であり、ソフトノイ
ズマスクのエッジから数画素離れた位置で略々“１”に
なり、それらの間の位置で０と１の中間の値を有する因
子を、修復対象画像に乗算することにより、下の元の画
素の値は減少する。その乗算結果を、マスク修復対象画
像という。そして、これに続くステップＳ７２に進む。In the first step S71, the image to be restored is multiplied by a soft noise mask. As a result, the original flaw is covered by the black area of the soft noise mask. In the soft range of the soft noise mask, it is substantially "0" at a position near the edge of the noise, substantially "1" at a position several pixels away from the edge of the soft noise mask, and at a position between them. By multiplying the image to be repaired by a factor having a value between 0 and 1, the value of the original pixel below is reduced. The result of the multiplication is called a mask repair target image. Then, the process proceeds to the next step S72.

【００９３】ここで、修復対象画像は、ユーザが選択し
たキズ周辺の長方形の画像領域である。ソフトノイズマ
スクは、ユーザが上書きしたバイナリマスクから生成さ
れたソフトエッジのマスクである。ここで、バイナリマ
スクは、ユーザがキズの上に上書き（ペイント）したマ
スクである。このバイナリマスクは、雑音の画素をカバ
ーするのに十分な大きさを有するものであるが、正確に
同じ形状のものである必要はない。Here, the image to be repaired is a rectangular image area around the flaw selected by the user. The soft noise mask is a soft edge mask generated from a binary mask overwritten by the user. Here, the binary mask is a mask overwritten (painted) on the flaw by the user. This binary mask is large enough to cover the noise pixels, but need not be exactly the same shape.

【００９４】ソフトノイズマスクを生成する際、バイナ
リマスク内ではソフトノイズマスクの値は０である。バ
イナリマスク外では、ソフトノイズマスクの値は、０か
ら１の間のガウス関数である。すなわち、バイナリマス
ク外の画素においては、バイナリマスクからの距離をｄ
とすると、ソフトノイズマスクの値は、１−ｅｘｐ（−
ｋ＊ｄ＊ｄ）となり、ここで、ｋは、ユーザがこのソフ
トノイズマスクのソフトエッジを急峻にしたり、なだら
かにしたりするために設定することができる定数であ
る。一般的に、定数ｋの値は、０．１５である。バイナ
リマスクからの距離ｄが決まると、ソフトノイズマスク
の１つの値が得られる。我々は、この目的のためにおよ
そ画素５個分の距離が適することを見いだした。When the soft noise mask is generated, the value of the soft noise mask is 0 in the binary mask. Outside the binary mask, the value of the soft noise mask is a Gaussian function between 0 and 1. That is, for pixels outside the binary mask, the distance from the binary mask is d
Then, the value of the soft noise mask is 1-exp (-
k * d * d), where k is a constant that can be set by the user to sharpen or soften the soft edge of the soft noise mask. Generally, the value of the constant k is 0.15. When the distance d from the binary mask is determined, one value of the soft noise mask is obtained. We have found that a distance of approximately 5 pixels is suitable for this purpose.

【００９５】ステップＳ７２においては、マスク修復対
象画像の高速フーリエ変換（ＦＦＴ）を行い、ＦＦＴで
計算されたマグニチュード（Ｍ２）と位相（Ｐ２）を次
のステップＳ７３に送る。In step S72, fast Fourier transform (FFT) of the image to be repaired is performed, and the magnitude (M2) and phase (P2) calculated by FFT are sent to the next step S73.

【００９６】一方、ステップＳ７７においては、参照画
像１の高速フーリエ変換（ＦＦＴ）を行う。ＦＦＴの出
力は、参照画像のフーリエ変換の位相（Ｐ１）とマグニ
チュード（Ｍ１）である。ここでは、位相は無視され、
マグニチュードは、後で使用される。上記マグニチュー
ドは、ステップＳ７３に送られる。On the other hand, in step S77, fast Fourier transform (FFT) of the reference image 1 is performed. The output of the FFT is the phase (P1) and magnitude (M1) of the Fourier transform of the reference image. Here, the phase is ignored,
The magnitude will be used later. The magnitude is sent to step S73.

【００９７】ここで、参照画像１は、ユーザが選択した
キズの画像領域を含まず修復対象と似ていて正確に同じ
サイズの長方形の画像領域である。この選択した領域を
参照領域とする。参照領域中の顕著なラインの相対的位
置は、修復対象領域中の顕著なラインの位置とは異な
る。Here, the reference image 1 is a rectangular image area which is similar to the repair target and does not include the image area of the flaw selected by the user and has the same exact size. The selected area is set as a reference area. The relative position of the salient line in the reference area is different from the position of the salient line in the repair target area.

【００９８】ステップＳ７３においては、マグニチュー
ドＭ１、Ｍ２の最小マグニチュードを計算する。マグニ
チュードＭ１は、参照画像のＦＦＴで得られるマグニチ
ュードであり、マグニチュードＭ２は、マスク修復対象
画像のＦＦＴで得られる画像である。この最小マグニチ
ュードの計算は、ＤＣ成分以外の全ての周波数成分にお
いて行われる。ＤＣにおいては、マグニチュードＭ２の
値が選択される。最小値の計算により得られた新しいマ
グニチュードを、次のステップＳ７４で行われる逆フー
リエ変換で使われる新しい値として送る。マスク修復対
象画像のＦＦＴで得られた位相情報Ｐ２は、変更されず
に、次のステップＳ７４に送られる。In step S73, the minimum magnitude of the magnitudes M1 and M2 is calculated. The magnitude M1 is a magnitude obtained by the FFT of the reference image, and the magnitude M2 is an image obtained by the FFT of the mask repair target image. The calculation of the minimum magnitude is performed for all frequency components other than the DC component. In DC, the value of magnitude M2 is selected. The new magnitude obtained by the calculation of the minimum value is sent as a new value used in the inverse Fourier transform performed in the next step S74. The phase information P2 obtained by the FFT of the mask repair target image is sent to the next step S74 without being changed.

【００９９】ステップＳ７４においては、前のステップ
Ｓ７３で得られたマグニチュードと位相の出力を用い
て、逆高速フーリエ変換（ＩＦＦＴ）を行う。そして、
ＩＦＦＴの結果を次のステップＳ７５に送る。In step S74, inverse fast Fourier transform (IFFT) is performed using the magnitude and phase outputs obtained in the previous step S73. And
The result of the IFFT is sent to the next step S75.

【０１００】ステップＳ７５においては、入力値を実数
にする。この入力値は、それらの内の幾つかは複素数で
ある可能性があるマトリクスである。マトリクスにおい
てそのような複素数の値は０に設定する。実数も０から
２５５の範囲外の可能性もあるのでクリッピングを行
う。値が０以下のときには、それを０にする。それが２
５５以上のときは、それを２５５にし、それ以外であれ
ば、何もしない。そして、この結果を、これに続くステ
ップＳ７６に送る。In step S75, the input value is set to a real number. This input value is a matrix, some of which may be complex. Such complex values in the matrix are set to zero. Since the real number may be outside the range of 0 to 255, clipping is performed. If the value is 0 or less, it is set to 0. That is 2
If it is 55 or more, it is set to 255; otherwise, nothing is done. Then, the result is sent to the subsequent step S76.

【０１０１】ステップＳ７６においては、前のステップ
Ｓ７５で得られた画素を元の修復対象画像の画素と混合
するソフトマスク修復を行う。ソフトノイズマスクから
離れている位置の画素の値は、この位置には雑音がない
ことが判っているので、元の修復対象画像の値とされる
べきである。ソフトノイズマスクの値が“０”である領
域内では、元の修復対象画像には雑音があり、またより
よい値が計算されたことから、それらの値はそのままを
用いる。ソフトノイズマスクの値が０と１の間の領域の
値としては、前のステップにおいて計算された値と修復
対象画像との値を混合した値とする。これらの３つの処
理（ソフトノイズマスクの値が０、１及び０と１の中間
の値の処理）は、以下のように定義することができる。
ある位置におけるソフトノイズマスクの値をｍとする
と、その位置の新しい画素の値は、 ｍ＊ｒ０＋（１−ｍ）＊ｒ となり、ここで、ｒ０は、修復対象画像内のその位置の
値であり、ｒは、前のステップで得られた位置の値であ
る。In step S76, a soft mask restoration for mixing the pixels obtained in the previous step S75 with the pixels of the original restoration target image is performed. The value of the pixel at a position distant from the soft noise mask should be the value of the original image to be repaired since it is known that there is no noise at this position. In the area where the value of the soft noise mask is “0”, the original image to be restored has noise, and a better value has been calculated. Therefore, those values are used as they are. The value of the area where the value of the soft noise mask is between 0 and 1 is a value obtained by mixing the value calculated in the previous step and the value of the image to be restored. These three processes (the process of the value of the soft noise mask being 0, 1 and the process of the intermediate value between 0 and 1) can be defined as follows.
Assuming that the value of the soft noise mask at a position is m, the value of the new pixel at that position is m * r0 + (1-m) * r, where r0 is the value of that position in the image to be restored. And r is the value of the position obtained in the previous step.

【０１０２】なお、ユーザは、ステップＳ７２からステ
ップＳ７６において実行されるループの回数を選択する
ことができる。Note that the user can select the number of loops to be executed in steps S72 to S76.

【０１０３】続いて、上記明細書中に説明した画像修復
方法の第３の例について、図１５に示すフローチャート
を参照して説明する。最初のステップＳ８１において
は、修復対象画像にノイズマスクを乗算する。このノイ
ズマスクとしては、バイナリマスクでも、ソフトエッジ
のマスクでもよい。Next, a third example of the image restoration method described in the above specification will be described with reference to the flowchart shown in FIG. In the first step S81, the restoration target image is multiplied by a noise mask. The noise mask may be a binary mask or a soft edge mask.

【０１０４】ノイズマスクとしてバイナリマスクを使用
したときは、修復対象画像中の実際の雑音は、黒い領域
で覆われる。この領域の外側の領域は、雑音のない部分
である。乗算の結果は、マスク修復対象画像である。一
方、ソフトノイズマスクを使用するときは、そのソフト
ノイズマスクのソフト範囲は、雑音のエッジ近傍の位置
で略々“０”であり、ソフトノイズマスクのエッジから
数画素離れた位置で略々“１“となり、それらの間の位
置で０と１の中間の値を有する要因を、修復対象画像に
乗算することにより、下の元の値は減少する。その乗算
結果を、マスク修復対象画像という。そして、次のステ
ップＳ８２に進む。When a binary mask is used as a noise mask, the actual noise in the image to be restored is covered by a black area. The area outside this area is a part without noise. The result of the multiplication is a mask repair target image. On the other hand, when a soft noise mask is used, the soft range of the soft noise mask is substantially “0” at a position near the edge of the noise, and substantially “0” at a position several pixels away from the edge of the soft noise mask. By multiplying the restoration target image by a factor having a value between 0 and 1 at a position therebetween, the original value below is reduced. The result of the multiplication is called a mask repair target image. Then, the process proceeds to the next step S82.

【０１０５】ステップＳ８２においては、マスク修復対
象画像を、ハイパスフィルタマスク画像と、ローパスフ
ィルタマスク画像との２つの画像に分割する。ローパス
フィルタマスク修復対象画像は、次のステップＳ８３に
送られないが、その代わりに、ステップＳ８８に送られ
る。ハイパスフィルタマスク修復対象画像のみが、次の
ステップＳ８３に直接に送られる。In step S82, the mask repair target image is divided into two images, a high-pass filter mask image and a low-pass filter mask image. The low-pass filter mask restoration target image is not sent to the next step S83, but is sent instead to step S88. Only the high-pass filter mask restoration target image is directly sent to the next step S83.

【０１０６】ステップＳ８３においては、ハイパスフィ
ルタマスク画像の高速フーリエ変換（ＦＦＴ）を計算し
て、ＦＦＴで計算されたマグニチュード（Ｍ２）と位相
（Ｐ２）を次のステップに送る。In step S83, the fast Fourier transform (FFT) of the high-pass filter mask image is calculated, and the magnitude (M2) and phase (P2) calculated by FFT are sent to the next step.

【０１０７】一方、ステップＳ９０においては、参照画
像を、ローパスフィルタを用いて濾波して、ローパスフ
ィルタ参照画像とハイパスフィルタ参照画像を生成す
る。そのローパスフィルタ参照画像は無視され、ハイパ
スフィルタ参照画像が次のステップＳ９１の入力にな
る。On the other hand, in step S90, the reference image is filtered using a low-pass filter to generate a low-pass filter reference image and a high-pass filter reference image. The low-pass filter reference image is ignored, and the high-pass filter reference image is input to the next step S91.

【０１０８】ステップＳ９１においては、ハイパスフィ
ルタ参照画像の高速フーリエ変換（ＦＦＴ）を計算す
る。ＦＦＴの出力は、ハイパスフィルタ参照画像のフー
リエ変換の位相とマグニチュードである。ここで、位相
は無視する。マグニチュード（Ｍ１）は次のステップＳ
８４に送られる。In step S91, a fast Fourier transform (FFT) of the high-pass filter reference image is calculated. The output of the FFT is the phase and magnitude of the Fourier transform of the high-pass filter reference image. Here, the phase is ignored. The magnitude (M1) is the next step S
84.

【０１０９】ステップＳ８４においては、マグニチュー
ド（Ｍ１）と（Ｍ２）の最小マグニチュードを計算す
る。マグニチュード（Ｍ１）は、参照画像のＦＦＴで得
られるマグニチュードであり、マグニチュード（Ｍ２）
は、ハイパスフィルタ修復対象画像のＦＦＴで得られる
マグニチュードである。最小値の計算により得られた新
しいマグニチュードを、次のステップＳ８５で行われる
逆フーリエ変換で使われるの新しい値として送る。ハイ
パスフィルタマスク修復対象画像のＦＦＴで得られた位
相情報（Ｐ２）を変更せずに、次のステップＳ８５に送
る。In step S84, the minimum magnitude of the magnitudes (M1) and (M2) is calculated. The magnitude (M1) is the magnitude obtained by the FFT of the reference image, and the magnitude (M2)
Is the magnitude obtained by FFT of the high-pass filter restoration target image. The new magnitude obtained by the calculation of the minimum value is sent as a new value used in the inverse Fourier transform performed in the next step S85. The phase information (P2) obtained by FFT of the high-pass filter mask restoration target image is sent to the next step S85 without being changed.

【０１１０】ステップＳ８５においては、前のステップ
Ｓ８４で得られたマグニチュードと位相の出力を用い
て、逆高速フーリエ変換（ＩＦＦＴ）を計算する。そし
て、ステップＳ８６に進む。In step S85, an inverse fast Fourier transform (IFFT) is calculated using the magnitude and phase outputs obtained in the previous step S84. Then, the process proceeds to step S86.

【０１１１】ステップＳ８６においては、入力値が実数
にされ、また、クリッピングが行なわれる。そして、ス
テップＳ８７に進む。In step S86, the input value is set to a real number, and clipping is performed. Then, the process proceeds to step S87.

【０１１２】ステップＳ８７においては、ステップＳ８
１で得られた画素を先に生成されたステップＳ８２にお
けるハイパスフィルタを介したマスク修復対象画像の画
素と混合するソフトマスク修復が行われる。なお、ソフ
トノイズマスクに代わってバイナリマスクを用いるバイ
ナリマスク修復を行うこともできる。そして、ステップ
Ｓ８８に進む。バイナリマスク修復の場合の手順は、図
中の破線にて示されている。In step S87, step S8
The soft mask restoration is performed in which the pixel obtained in step 1 is mixed with the pixel of the image to be masked through the high-pass filter previously generated in step S82. Note that a binary mask restoration using a binary mask instead of the soft noise mask can also be performed. Then, the process proceeds to step S88. The procedure for the binary mask repair is shown by the broken line in the figure.

【０１１３】ステップＳ８８においては、前のステップ
Ｓ８７の出力と、ステップＳ８２で得られたローパスフ
ィルタマスク修復対象画像とをマージする。マージは、
２つの画像を単純に加算することにより行われる。そし
て、次のステップＳ８９に進む。In step S88, the output of the previous step S87 is merged with the low-pass filter mask restoration target image obtained in step S82. Merging is
This is done by simply adding the two images. Then, the process proceeds to the next step S89.

【０１１４】ステップＳ８９においては、クリッピング
が行われる。即ち、このステップの入力の画素のいずれ
かが２５５より大きいときは、それを２５５とする。そ
れ以外であれば、何もしないでおく。In step S89, clipping is performed. That is, if any of the input pixels in this step is larger than 255, it is set to 255. Otherwise, do nothing.

【０１１５】なお、ユーザは、ステップＳ８２からステ
ップＳ８９において実行されるループの回数を選択する
ことができる。Note that the user can select the number of loops to be executed in steps S82 to S89.

【０１１６】このように全般的な特徴を表現しやすい周
波数領域と、局所的な特徴を表現しやすい空間領域を使
い分けることで、従来と比べてきわめて良好な画像修復
が可能となる。As described above, by selectively using the frequency domain in which general features can be easily expressed and the spatial domain in which local features can be easily expressed, image restoration can be made much better than in the past.

【０１１７】以上述べたように、画像の修復はデジタル
画像を扱う幅広い分野で使用できる技術である。上述の
動画像の修復方法では、この画像の修復を動画像に対し
て実施した際の問題点を解決し高品位な画像修復を提供
する。As described above, image restoration is a technique that can be used in a wide range of fields dealing with digital images. The above-mentioned moving image restoration method solves the problem when this image restoration is performed on a moving image and provides high-quality image restoration.

【０１１８】即ち、上述の動画像の修復方法では、重み
付き平均を用いた前後のフレームの対応箇所との平均化
処理により動画像における修復に連続性を与えることが
でき、高品位な画像修復が可能となる。That is, in the above-described moving image restoration method, continuity can be given to restoration in a moving image by averaging the corresponding portions of the preceding and succeeding frames using weighted averaging, and high-quality image restoration can be performed. Becomes possible.

【０１１９】また、フレームの修復を順次行い、この時
平均化処理は修復が終了していないフレームについて
は、画素の情報が存在する（正しい値が分かっている）
場合のみ平均化処理に使用することで、動画像において
連続性を保ちつつ、しかも修復をフレーム単位で順次完
了させることが可能となる。これにより、動画像全体の
修復を待たずに修復完了したものから使用することがで
き、操作性が向上する。In addition, frame restoration is performed sequentially, and at this time, in the averaging process, pixel information exists for a frame for which restoration has not been completed (correct values are known).
By using the averaging process only in such a case, it is possible to sequentially complete restoration in frame units while maintaining continuity in a moving image. As a result, it is possible to start using the restored moving image without waiting for the entire moving image to be restored, thereby improving operability.

【０１２０】さらに、フレームの修復を順次行うとき
に、フレーム番号の昇順と降順の修復とを組み合わせる
ことで、正しい値が分かっている画素の情報を効率よく
前後のフレームに伝播させることができるので、より高
品位な修復が可能となる。Furthermore, by combining the ascending order and the descending order of the frame numbers when the frames are sequentially repaired, the information of the pixels whose correct values are known can be efficiently transmitted to the preceding and succeeding frames. , Higher quality restoration becomes possible.

【図面の簡単な説明】[Brief description of the drawings]

【図１】従来の画像の修復方法を説明する図である。FIG. 1 is a diagram illustrating a conventional image restoration method.

【図２】従来の画像の修復方法を説明する図である。FIG. 2 is a diagram illustrating a conventional image restoration method.

【図３】従来の画像の修復方法を説明する図である。FIG. 3 is a diagram illustrating a conventional image restoration method.

【図４】動画像の修復装置の概略的な構成を示すブロッ
ク図である。FIG. 4 is a block diagram illustrating a schematic configuration of a moving image restoration apparatus.

【図５】動画像の修復方法の工程を示すデータフロー図
である。FIG. 5 is a data flow diagram showing steps of a moving image restoration method.

【図６】フレームに設定された修復対象領域及び参照領
域を示す図である。FIG. 6 is a diagram showing a restoration target area and a reference area set in a frame.

【図７】複数のフレームに設定される対応領域を説明す
る図である。FIG. 7 is a diagram illustrating a corresponding area set in a plurality of frames.

【図８】上記修復方法の第１の具体例のフローチャート
である。FIG. 8 is a flowchart of a first specific example of the repair method.

【図９】上記修復方法の第２の具体例のフローチャート
である。FIG. 9 is a flowchart of a second specific example of the repair method.

【図１０】上記修復対象領域における１画素幅の画素の
取り出しを示す図である。FIG. 10 is a diagram showing extraction of a pixel having a width of one pixel in the above-mentioned restoration target area.

【図１１】各フレームから取り出した１画素幅の画素を
順に並べた図である。FIG. 11 is a diagram in which pixels of one pixel width extracted from each frame are arranged in order.

【図１２】画素の修復の際のフレーム番号の昇順及び降
順の実施の相違を説明する図である。FIG. 12 is a diagram for explaining the difference between the implementation of the ascending order and the descending order of the frame number when the pixel is restored.

【図１３】フレーム内処理による画像の修復方法の第１
の例のフローチャートである。FIG. 13 shows a first method of restoring an image by intra-frame processing.
It is a flowchart of the example of FIG.

【図１４】フレーム内処理による画像の修復方法の第２
の例のフローチャートである。FIG. 14 shows a second method of restoring an image by processing within a frame.
It is a flowchart of the example of FIG.

【図１５】フレーム内処理による画像の修復方法の第３
の例のフローチャートである。FIG. 15 is a third method of restoring an image by intra-frame processing;
It is a flowchart of the example of FIG.

【符号の説明】[Explanation of symbols]

１０ 制御部、 ２１ 中央処理部、 ２２ メモリ 10 control unit, 21 central processing unit, 22 memory

Claims (23)

【特許請求の範囲】[Claims] 【請求項１】 連続した複数の画像から構成される動画
像中の画素情報の欠落を修復する動画像の修復方法にお
いて、 画素情報が欠落した修復対象画像の前後の少なくとも１
つの画像における、上記欠落画素に対応する画像部分の
情報に基づいて、画像が時間方向に連続であるように上
記欠落画素を修復する連続性維持工程を有する動画像の
修復方法。1. A method of restoring a moving image for repairing a lack of pixel information in a moving image composed of a plurality of continuous images, comprising:
A method for repairing a moving image, comprising a continuity maintaining step of repairing the missing pixels so that the images are continuous in a time direction based on information of an image portion corresponding to the missing pixels in one image. 【請求項２】 上記連続性維持工程は、情報が欠落した
修復対象画像について、この修復対象画像の前後の少な
くとも１つの画像における欠落画素に対応する画像領域
の重み付き平均を求めることで連続性を確保する請求項
１記載の動画像の修復方法。2. The method according to claim 1, wherein the step of maintaining the continuity includes calculating a weighted average of image areas corresponding to missing pixels in at least one of the images before and after the image to be repaired. 2. The method of restoring a moving image according to claim 1, wherein: 【請求項３】 欠落画素を有する修復対象画像内自身の
情報を用いて修復処理を行なう画像内修復工程を更に有
し、 画像内修復工程と連続性維持工程とを繰り返し実行して
動画像の修復を行なう請求項１記載の動画像の修復方
法。3. The image processing apparatus according to claim 1, further comprising: an in-image restoration step of performing a restoration process using information of the image to be restored having missing pixels. 2. The method of restoring a moving image according to claim 1, wherein the restoration is performed. 【請求項４】 欠落画素を有する修復対象画像の画素情
報の修復処理を行なう修復工程を更に有し、 修復工程と連続性維持工程とを繰り返し実行して動画像
の修復を行なう請求項１記載の動画像の修復方法。4. The method according to claim 1, further comprising a repairing step of repairing pixel information of the repair target image having the missing pixels, wherein the repairing step and the continuity maintaining step are repeatedly performed to repair the moving image. How to repair moving images. 【請求項５】 上記修復工程を欠落画素を有する複数の
修復対象画像に対し並列的に行なった後に、上記修復工
程を施した修復対象画像のそれぞれに対して連続性維持
工程を実行する請求項４記載の動画像の修復方法。5. The continuity maintaining step is performed on each of the repair target images subjected to the repair step after performing the repair step in parallel on a plurality of repair target images having missing pixels. 4. The method of restoring a moving image according to 4. 【請求項６】 欠落画素を有する複数の修復対象画像に
対して、順に上記修復工程と上記連続性維持工程とを実
行する請求項４記載の動画像の修復方法。6. The moving image restoration method according to claim 4, wherein the restoration step and the continuity maintaining step are sequentially performed on a plurality of restoration target images having missing pixels. 【請求項７】 上記連続性維持工程は、修復対象画像の
前後の画像における欠落画素に対応する画像部分におい
て画素情報が欠落している場合には、その対応する画像
部分の画素情報を用いずに連続性維持処理をする請求項
１記載の動画像の修復方法。7. The method according to claim 1, wherein the step of maintaining the continuity does not use the pixel information of the corresponding image part if the pixel information is missing in the image part corresponding to the missing pixel in the images before and after the restoration target image. 2. The method of restoring a moving image according to claim 1, wherein a continuity maintaining process is performed. 【請求項８】 上記連続性維持工程は、修復対象画像の
前後の画像における欠落画素に対応する画像部分におい
て画素情報が欠落している場合には、そのフレームが既
に修復されているのであれば修復した結果の画像の画素
値に基づいて連続性維持処理をする請求項１記載の動画
像の修復方法。8. The continuity maintaining step includes the steps of: when pixel information is missing in an image portion corresponding to a missing pixel in an image before and after the image to be repaired, if the frame has already been repaired; 2. The moving image restoration method according to claim 1, wherein continuity maintaining processing is performed based on pixel values of the restored image. 【請求項９】 修復対象画像を時間の順方向に順次選択
し、上記連続性維持工程は、時間的に古い側の既に修復
が終了した画像部分を用いると共に、画素情報が存在す
る場合には時間的に新しい側の対応する画像部分をも用
いて当該修復対象画像の修復を行う請求項８記載の動画
像の修復方法。9. A restoration target image is sequentially selected in the forward direction of time, and in the continuity maintaining step, an image part on which the restoration has been completed on the temporally old side is used, and when pixel information exists, 9. The method of restoring a moving image according to claim 8, wherein the restoration target image is restored by using a corresponding image portion on a temporally newer side. 【請求項１０】 修復対象画像を時間の逆方向に順次選
択し、上記連続性維持工程は、時間的に新しい側の既に
修復が終了した画像部分を用いると共に、画素情報が存
在する場合には時間的に古い側の対応する画像部分をも
用いて当該修復対象画像の修復を行う請求項８記載の動
画像の修復方法。10. An image to be repaired is sequentially selected in the reverse direction of time, and the continuity maintaining step uses a portion of the image that has already been repaired on the temporally new side and, if pixel information exists, 9. The method of restoring a moving image according to claim 8, wherein the restoration target image is restored by using a corresponding image portion that is older in time. 【請求項１１】 修復対象画像を時間の順方向に順次選
択し、上記連続性維持工程は、時間的に古い側の既に修
復が終了した画像部分を用いると共に、画素情報が存在
する場合には時間的に新しい側の対応する画像部分をも
用いて当該修復対象画像の修復を行う順方向工程と、 修復対象画像を時間の逆方向に順次選択し、上記連続性
維持工程は、時間的に新しい側の既に修復が終了した画
像部分を用いると共に、画像情報が存在する場合には時
間的に古い側の対応する画像部分をも用いて当該修復対
象画像の修復を行う逆方向工程とを交互に処理する請求
項８記載の動画像の修復方法。11. An image to be repaired is sequentially selected in the forward direction of time, and in the continuity maintaining step, an image portion which has been repaired is used on the temporally old side and pixel information exists when the image information exists. The forward step of restoring the restoration target image using the corresponding image portion on the temporally new side, and the restoration target image are sequentially selected in the reverse direction of time. The reverse process of repairing the repair target image is also performed by using the already repaired image portion on the new side and using the corresponding image portion on the temporally older side when image information exists. 9. The method for restoring a moving image according to claim 8, wherein 【請求項１２】 連続した複数の画像から構成される動
画像中の画素情報の欠落を修復する動画像の修復装置に
おいて、 画素情報が欠落した修復対象画像の前後の少なくとも１
つの画像における、上記欠落画素に対応する画像部分の
情報に基づいて、画像が時間方向に連続であるように上
記欠落画素を修復する連続性維持処理を制御する制御手
段を有する動画像の修復装置。12. A moving image restoration apparatus for restoring missing pixel information in a moving image composed of a plurality of continuous images, comprising:
A moving image restoration apparatus having control means for controlling a continuity maintaining process for restoring the missing pixels so that the images are continuous in the time direction based on information of an image portion corresponding to the missing pixels in one image . 【請求項１３】 上記制御手段は、情報が欠落した修復
対象画像について、この修復対象画像の前後の少なくと
も１つの画像における欠落画素に対応する画像領域の重
み付き平均を求めることで連続性を確保する請求項１２
記載の動画像の修復装置。13. The continuity is ensured by obtaining a weighted average of an image area corresponding to a missing pixel in at least one of the images before and after the image to be repaired, wherein the image to be repaired has information missing. Claim 12
An apparatus for restoring the described moving image. 【請求項１４】 上記制御手段は、欠落画素を有する修
復対象画像内自身の情報を用いて修復処理を行なう画像
内修復処理と上記連続性維持処理とを繰り返し実行する
制御を行なって動画像の修復を行なう請求項１２記載の
動画像の修復装置。14. The control means performs control to repeatedly execute an in-image restoration process for performing a restoration process using information of the restoration target image itself having a missing pixel and the continuity maintaining process, and The moving image restoration apparatus according to claim 12, which performs restoration. 【請求項１５】 上記制御手段は、欠落画素を有する修
復対象画像の画素情報の修復処理と上記連続性維持処理
とを繰り返し実行する制御を行なって動画像の修復を行
なう請求項１２記載の動画像の修復装置。15. The moving image according to claim 12, wherein said control means performs control to repeatedly execute a process of restoring pixel information of a repair target image having a missing pixel and said continuity maintaining process, thereby restoring a moving image. Statue restoration device. 【請求項１６】 上記制御手段は、上記修復処理を欠落
画素を有する複数の修復対象画像に対し並列的に行なっ
た後に、上記修復処理を施した修復対象画像のそれぞれ
に対して連続性維持処理を実行する請求項１５記載の動
画像の修復装置。16. The continuity maintaining process is performed on each of the repair target images subjected to the repair process after performing the repair process in parallel on a plurality of repair target images having missing pixels. 16. The moving image restoration apparatus according to claim 15, wherein the processing is performed. 【請求項１７】 上記制御手段は、欠落画素を有する複
数の修復対象画像に対して、順に上記修復処理と上記連
続性維持処理とを実行する請求項１５記載の動画像の修
復装置。17. The moving image restoration apparatus according to claim 15, wherein the control unit sequentially executes the restoration processing and the continuity maintaining processing on a plurality of restoration target images having missing pixels. 【請求項１８】 上記制御手段は、修復対象画像の前後
の画像における欠落画素に対応する画像部分において画
素情報が欠落している場合には、その対応する画像部分
の画素情報を用いずに連続性維持処理をする請求項１２
記載の動画像の修復装置。18. When the pixel information is missing in an image portion corresponding to a missing pixel in an image before and after an image to be repaired, the control means continuously executes the pixel information without using the pixel information of the corresponding image portion. 13. A process for maintaining the sex.
An apparatus for restoring the described moving image. 【請求項１９】 上記制御手段は、修復対象画像の前後
の画像における欠落画素に対応する画像部分において画
素情報が欠落している場合には、そのフレームが既に修
復されているのであれば修復した結果の画像の画素値に
基づいて連続性維持処理をする請求項１２記載の動画像
の修復装置。19. When the pixel information is missing in an image portion corresponding to a missing pixel in an image before and after the image to be repaired, the control means restores the frame if the frame has already been repaired. 13. The moving image restoration apparatus according to claim 12, wherein the continuity maintaining process is performed based on a pixel value of a resultant image. 【請求項２０】 上記制御手段は、修復対象画像を時間
の順方向に順次選択し、時間的に古い側の既に修復が終
了した画像部分を用いると共に、画素情報が存在する場
合には時間的に新しい側の対応する画像部分をも用いて
連続性維持処理を行う請求項１９記載の動画像の修復装
置。20. The control means sequentially selects a repair target image in the forward direction of time, uses an image portion which has been restored on the temporally older side, and uses a temporal portion if pixel information exists. 20. The moving image restoration apparatus according to claim 19, wherein the continuity maintaining processing is performed by also using the corresponding image part on the new side. 【請求項２１】 上記制御手段は、修復対象画像を時間
の逆方向に順次選択し、時間的に新しい側の既に修復が
終了した画像部分を用いると共に、画素情報が存在する
場合には時間的に古い側の対応する画像部分をも用いて
連続性維持処理を行う請求項１９記載の動画像の修復装
置。21. The control means sequentially selects images to be repaired in the reverse direction of time, uses an image portion which has already been repaired on a temporally new side, and, if pixel information exists, temporally. 20. The moving image restoration apparatus according to claim 19, wherein the continuity maintaining processing is performed by also using the corresponding image part on the old side. 【請求項２２】 上記制御手段は、 修復対象画像を時間の順方向に順次選択し、時間的に古
い側の既に修復が終了した画像部分を用いると共に、画
素情報が存在する場合には時間的に新しい側の対応する
画像部分をも用いて連続性維持処理を行う順方向処理
と、 修復対象画像を時間の逆方向に順次選択し、時間的に新
しい側の既に修復が終了した画像部分を用いると共に、
画像情報が存在する場合には時間的に古い側の対応する
画像部分をも用いて連続性維持処理を行う逆方向処理と
を交互に処理する制御を行なう請求項１９記載の動画像
の修復装置。22. The control means sequentially selects a restoration target image in the forward direction of time, uses an image portion which has been restored on the temporally older side, and, if pixel information exists, temporally selects the restoration target image. In the forward direction, the continuity maintenance process is also performed using the corresponding image portion on the new side, and the image to be repaired is sequentially selected in the reverse direction of time, and the image portion of the temporally new side that has already been repaired is selected. Use and
20. The moving image restoration apparatus according to claim 19, wherein when image information is present, control is performed to alternately perform reverse processing for performing continuity maintenance processing using the corresponding image part on the temporally older side. . 【請求項２３】 連続した複数の画像から構成される動
画像中の画素情報の欠落を修復する処理を制御装置に実
行させるための制御情報を提供する提供媒体において、 画素情報が欠落した修復対象画像の前後の少なくとも１
つの画像における、上記欠落画素に対応する画像部分の
情報に基づいて、画像が時間方向に連続であるように上
記欠落画素を修復する制御情報を有する提供媒体。23. A providing medium for providing control information for causing a control device to execute a process of repairing a lack of pixel information in a moving image composed of a plurality of continuous images, the repair target having the missing pixel information. At least one before and after the image
A providing medium having control information for repairing the missing pixels so that the images are continuous in the time direction based on information of an image portion corresponding to the missing pixels in one image.