JPH0797402B2 - Image correction method - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、画像修正方法に関する。The present invention relates to an image correction method.

［従来の技術］ 撮像管、CCDセンサ等の撮像デバイスを通して読取られ
たデジタル画像データの一部を、与えられた条件に基づ
いて、他のデータと置換えることによって、画像データ
の修正を行う方法が従来から知られている。この修正方
法は、写真の分野で行われており、レタッチと呼ばれて
いる。[Prior Art] A method of correcting image data by replacing a part of digital image data read through an imaging device such as an imaging tube or a CCD sensor with other data based on a given condition. Is conventionally known. This correction method is used in the field of photography and is called retouching.

このレタッチは、フィルム、印画紙上の画像の内で、修
正を加えたい部分に、その周辺の画像から予想される色
を細い筆で塗る方法であり、これによって、たとえば、
顔のほくろを消したり、髭そり跡をなくしたり、フィル
ム上に付着していたごみ、傷の影であって印画紙に写り
込んだものを、印画紙にプリントするときに消したりす
るものである。This retouching is a method of painting the part of the image on the film or photographic paper to be corrected with the color expected from the image around it with a thin brush.
It is used to erase the moles on the face, eliminate shaving marks, dust on the film, and the shadows of scratches that are reflected on the photographic paper and erased when printing on the photographic paper. is there.

しかし、この作業は非常に細かく、また通常、塗る色は
顔料を混ぜて作るので、その色を適切に調合することが
困難であり、未熟練者にとっては満足できる修正を加え
ることが困難である。However, this work is very detailed, and the color to be applied is usually made by mixing pigments, so it is difficult to properly mix the colors, and it is difficult for an unskilled person to make a satisfactory correction. .

一方、デジタル画像処理の分野では、上記作業と同等の
作業をコンピュータで実現している。この場合、モニタ
ディスプレー上に修正したい画像を拡大して表示し、デ
ジタイザ等の位置指定装置によって、修正したい部分
（被修正画素）の近傍から被修正画素位置を埋める色を
持つ画素の位置を指定し、この位置に対応する画像デー
タの組を読み込み記憶する。そして、被修正画素の位置
を位置指定装置で指定し、上記記憶したデータの組を、
その指定した位置に対応するメモリに書込む。これによ
って、写真の世界で行われているレタッチの作業がコン
ピュータで実現される。On the other hand, in the field of digital image processing, a work equivalent to the above work is realized by a computer. In this case, the image to be corrected is enlarged and displayed on the monitor display, and the position of a pixel with a color that fills the position of the pixel to be corrected is specified from the vicinity of the portion to be corrected (pixel to be corrected) by a position specifying device such as a digitizer. Then, the set of image data corresponding to this position is read and stored. Then, the position of the pixel to be corrected is specified by the position specifying device, and the set of stored data is
Write to the memory corresponding to the specified position. As a result, the retouching work performed in the photographic world is realized by the computer.

デジタル画像は、多くの画素で構成され、その画素を最
小単位として取扱うことができる。デジタル画像処理で
のレタッチは、まず、画像を拡大してモニタに表示し、
その後に画素を指定できるので、細かい作業を必要とし
ない。また、被修正画素の周辺の画像データを容易に利
用できる。さらに、画素単位で指定するので、修正範囲
が必要以上に大きくならない。これらの点において、写
真でのレタッチと比較して、熟練者でなくとも満足でき
る修正が可能であるという利点がある。A digital image is composed of many pixels, and the pixel can be treated as a minimum unit. For retouching in digital image processing, first enlarge the image and display it on the monitor.
Since pixels can be specified after that, detailed work is not required. Further, the image data around the pixel to be corrected can be easily used. Furthermore, since the correction is specified in pixel units, the correction range does not become larger than necessary. In these respects, compared to retouching with a photograph, there is an advantage that even an unskilled person can make a satisfactory correction.

しかし、上記コンピュータによる従来方法は、修正すべ
き画素の数が少ないと、その手間も比較的少ないが、画
素データは非常に数多くの画素（たとえば、通常のTVレ
ベルの画像で約25万画素、より高精細な画像では100万
画素以上）で構成されるので、極く僅かの修正であって
も、数十画素以上になることが多い。したがって、上記
コンピュータによる作業は、実際には、画素の修正作業
が大変煩雑で、長時間を要するという問題がある。However, when the number of pixels to be corrected is small, the conventional method using the computer described above requires a relatively small amount of work, but the pixel data has a large number of pixels (for example, about 250,000 pixels for a normal TV level image, Higher definition images have more than 1 million pixels), so even the slightest correction often results in tens of pixels or more. Therefore, in the work by the computer, the pixel correction work is actually very complicated and takes a long time.

［発明の目的］ 本発明は、上記従来方法における問題点に着目してなさ
れたもので、熟練者でなくても、画像を満足に修正で
き、しかもその修正作業が容易である画像修正方法を提
供することを目的とするものである。[Object of the Invention] The present invention has been made by paying attention to the problems in the above-described conventional method, and an image correction method capable of satisfactorily correcting an image even by an unskilled person and further facilitating the correction work. It is intended to be provided.

［発明の実施例］ 以下、ごみ、傷が付着しているフィルムからデジタル画
像を入力し、赤外光成分データを用いて、フィルムに付
着したごみ、傷の位置を検知し、そのごみ、傷を除去し
て画像修正するという場合を例にとって説明する。[Examples of the invention] Hereinafter, a digital image is input from a film having dust and scratches, and the position of dust and scratches on the film is detected using infrared light component data, and the dust and scratches are detected. An example will be described in which the image is corrected by removing the.

第10図は、本発明の一実施例を説明する図である。この
実施例は、画像入力装置１と、画像データのたくわえる
イメージメモリ２と、画像データに二値化する回路３
と、二値化された画像データをたくわえるビットプレー
ンメモリ４と、入力装置１とイメージメモリ３と二値化
回路４とを結ぶI/Oインターフェース５と、処理、制御
を行なうCPU6とを有する。FIG. 10 is a diagram for explaining an embodiment of the present invention. In this embodiment, an image input device 1, an image memory 2 for storing image data, and a circuit 3 for binarizing the image data.
A bit plane memory 4 for storing binarized image data, an I / O interface 5 connecting the input device 1, the image memory 3, and the binarization circuit 4, and a CPU 6 for processing and controlling.

画像入力装置１によって読まれたフィルムの画像データ
のうち、可視光成分データはイメージメモリ２にたくわ
えられ、赤外光成分のデータは、二値化回路３で二値化
された後、ビットプレーンメモリ４にたくわえられる。Of the image data of the film read by the image input device 1, visible light component data is stored in the image memory 2, and infrared light component data is binarized by the binarization circuit 3, and then the bit plane. Stored in memory 4.

CPU6は、イメージメモリ２、ビットプレーンメモリ４の
内容を読み出して、以下に説明する処理を加える。The CPU 6 reads the contents of the image memory 2 and the bit plane memory 4 and adds the processing described below.

フィルムを透過した赤外光成分は、フィルムに写ってい
る画像情報を含まず、第３図に示すごみ、傷等のデータ
で構成される。なお、第２図は、この場合の画像データ
である。The infrared light component transmitted through the film does not include the image information reflected on the film, and is composed of data such as dust and scratches shown in FIG. Note that FIG. 2 shows image data in this case.

第４図は、第３図（ａ）の部分の画像データを示す図で
ある。FIG. 4 is a diagram showing image data of the portion of FIG.

この第４図において、ごみ、傷の位置と、これら以外の
画像の位置とでは、顕著な相違が現れ、したがって、適
当な閾値によって赤外光成分データを２値化し、ごみ、
傷の位置を示すビットプレーンを作る。In FIG. 4, a significant difference appears between the positions of dust and scratches and the positions of images other than these. Therefore, the infrared light component data is binarized by an appropriate threshold value, and dust,
Create a bit plane that shows the location of the scratch.

第５図は、第３図（ｂ）の部分のビットプレーンを示す
図である。FIG. 5 is a diagram showing the bit plane of the portion of FIG. 3 (b).

このビットプレーンは、ごみ、傷の位置を「１」で示
し、これら以外の画像の位置を「０」として示したもの
である。In this bit plane, the positions of dust and scratches are indicated by "1", and the positions of images other than these are indicated by "0".

次に、上記ビットプレーンと画像データとに基づいて画
像修正する動作について説明する。Next, an operation of correcting an image based on the bit plane and the image data will be described.

本発明の基本概念は以下の通りである。The basic concept of the present invention is as follows.

本発明の第１の基本概念は、被修正画素を埋めるデータ
は、その被修正画素に近く存在する正常画素（修正の必
要があるデータ、既に修正されたデータではないもの）
を優先することである。ここで、画素同志の距離は、第
６図（ａ）に示すように、画素の中心間の距離である。The first basic concept of the present invention is that the data for filling the pixel to be corrected is a normal pixel existing near the pixel to be corrected (data that needs to be corrected, and is not already corrected data).
Is to prioritize. Here, the distance between the pixels is the distance between the centers of the pixels, as shown in FIG.

第６図（ｂ）は、注目画素（現在、注目している画素）
Ｘの周辺５×５画素内の各画素を、注目画素Ｘから近い
順に、Ａ、Ｂ、…Ｅの各グループにグループ化した状態
を示す図である。FIG. 6B shows a pixel of interest (a pixel of interest at present).
It is a figure which shows the state which grouped each pixel in 5x5 pixel around X into each group of A, B, ... E in order from the attention pixel X.

また、対象としている画素は、フィルム等から入力した
自然画であり、一般に、自然画は、完全に同一の画素デ
ータが連続して起こる確率は少ない。その理由は、ま
ず、フィルムに写っている被写体自体、一様なものは少
ないことと、フィルム等に記録されるときに、その媒体
の持つノイズが加わることと、デジタル画像として入力
するときにノイズが加わることである。Further, the target pixel is a natural image input from a film or the like, and in general, a natural image is unlikely to have completely identical pixel data successively. The reason is that there are few uniform objects in the film itself, that the noise of the medium is added when recording on film, and that there is noise when inputting as a digital image. Is to join.

このような画像の一部に、修正部分として同一データを
連続させる（位置的に隣り合せる）ことは不自然であ
る。したがって、同一データが連続する確率が少ない状
態にする。これが、本発明の第２の基本概念である。It is unnatural to make the same data continuous (positionally adjacent) to a part of such an image as a correction part. Therefore, the probability that the same data continues is small. This is the second basic concept of the present invention.

さらに、注目画素から離れるほど、画素間の相関は一般
的に小さくなるので、あまり離れている画素からデータ
を持ってくると、そのデータが修正用データとしては適
当でない確率が高まる。また、１修正画素当りの演算の
対象とするデータ数が多くなるので、演算時間も長くな
る。したがって、マトリックスサイズに上限を設ける。
これが本発明の第３の概念である。Furthermore, as the distance from the pixel of interest increases, the correlation between pixels generally decreases. Therefore, if data is brought from pixels that are too far away, the probability that the data is not suitable as correction data increases. Further, since the number of data to be calculated per corrected pixel is large, the calculation time becomes long. Therefore, an upper limit is set for the matrix size.
This is the third concept of the present invention.

第７図は、画素の位置と添え字の関係を示す図である。FIG. 7 is a diagram showing the relationship between pixel positions and subscripts.

Ｍ×Ｎの画素データをＤ（i,j）とし、ビットプレーン
をBP（i,j）とする。ここで、ｉ＝１、２、…Ｍであ
り、ｊ＝１、２、…Ｎである。また、Ｄ（i,j）を注目
画素として設定する。Let M × N pixel data be D (i, j) and the bit plane be BP (i, j). Here, i = 1, 2, ... M, and j = 1, 2 ,. Further, D (i, j) is set as the pixel of interest.

第１図は、本発明の一実施例を示すフローチャートであ
る。FIG. 1 is a flow chart showing an embodiment of the present invention.

ビットプレーンの注目画素（BP（i,j））を調べて、そ
れが正常画素（「０」）であるならば（S1）、次の画素
を注目画素として選ぶ（S4）。たとえば、BP（ｉ＋1,
j）を注目画素として選ぶ。The target pixel (BP (i, j)) of the bit plane is checked, and if it is the normal pixel (“0”) (S1), the next pixel is selected as the target pixel (S4). For example, BP (i + 1,
Select j) as the pixel of interest.

一方、注目画素（BP（i,j））が異常画素（「０」）な
らば、注目画素の１画素左上、右上、左下、右下、の画
素（第９図（ａ）に斜線で示す画素）を調べる（S2）。
すなわち、BP（ｉ−1,j−１）、BP（ｉ＋1,j−１）、BP
（ｉ−1,j＋１）、BP（ｉ＋1,j＋１）の４つの内、正常
画素が存在するか否かを調べる。１つでも正常画素が存
在する場合、その正常画素の中の任意の１つをランダム
に選択し、その選択した画像データを注目画素の新たな
データとする（S11）。そして、次の画素を注目画素に
選ぶ（S4）。On the other hand, if the pixel of interest (BP (i, j)) is an abnormal pixel (“0”), one pixel of the pixel of interest is shown in the upper left, upper right, lower left, and lower right (indicated by diagonal lines in FIG. 9 (a)). (Pixel) is checked (S2).
That is, BP (i-1, j-1), BP (i + 1, j-1), BP
It is checked whether or not a normal pixel exists among the four (i−1, j + 1) and BP (i + 1, j + 1). If even one normal pixel exists, any one of the normal pixels is randomly selected, and the selected image data is set as new data of the pixel of interest (S11). Then, the next pixel is selected as the pixel of interest (S4).

S2において、総て異常画素である場合、注目画素の２画
素左、上、右、下の画素（第９図（ｂ）に斜線で示す画
素）を調べる（S3）。すなわち、BP（ｉ−2,j）、BP
（i,j−２）、BP（ｉ＋2,j）、BP（ｉ＋2,j＋２）の４
つの画素の内、正常画素が存在するか否かを調べる。If all the abnormal pixels are found in S2, the two pixels to the left, upper, right, and lower of the pixel of interest (pixels indicated by diagonal lines in FIG. 9B) are examined (S3). That is, BP (i-2, j), BP
4 of (i, j-2), BP (i + 2, j), BP (i + 2, j + 2)
It is checked whether or not a normal pixel exists out of the two pixels.

正常画素が存在する場合、その正常画素の中の任意の１
つをランダムに選択し、この選択された正常画素の画像
データを注目画素の新たなデータとする（S11）。If a normal pixel exists, any one of the normal pixels
One is randomly selected, and the image data of the selected normal pixel is set as new data of the pixel of interest (S11).

S3において、総てが異常画素である場合、注目画素の左
上、右上、２画素左、２画素上の合計４画素（第９図
（ｃ）に斜線で示す画素）の任意の１つをランダムに選
択し、この選択された画素データを注目画素のデータと
する（S12）。In S3, if all are abnormal pixels, any one of a total of 4 pixels (pixels indicated by diagonal lines in FIG. 9C) on the upper left, upper right, 2 pixels left, and 2 pixels of the pixel of interest is randomly selected. And the selected pixel data is set as the data of the target pixel (S12).

この場合、上記４画素は、本来は異常画素であったが、
第８図に示すように画像の左上から右下に向けて順次、
修正処理するために、既に修正されたという理由で選ば
れた４画素である。In this case, the above-mentioned 4 pixels were originally abnormal pixels,
As shown in FIG. 8, from the upper left to the lower right of the image,
There are 4 pixels chosen because they have already been modified for the modification process.

そして、上記処理を画像全体に行なう。なお、画像の周
囲２画素幅内の画素は、上記アルゴリズムを適用できな
いので、上記処理をしない。本発明の第１の基本概念が
存在するにもかかわらず、S2において注目画素の上下左
右の画素をアルゴリズム中に入ない理由を次に述べる。Then, the above processing is performed on the entire image. Note that the above algorithm is not applicable to pixels within a two-pixel width around the image, and thus the above processing is not performed. Despite the existence of the first basic concept of the present invention, the reason why the pixels above and below and to the left and right of the pixel of interest are not included in the algorithm in S2 will be described below.

S2において、上下左右の画素から同様のアルゴリズムを
スタートさせた場合、修正したい部分の大きさが３×３
以上になると、３画素同一データが位置的に必ず連続す
ることになる。In S2, if you start the same algorithm from the upper, lower, left and right pixels, the size of the part you want to correct is 3 × 3
In the above case, the same 3-pixel data is always continuous in position.

第９図（ａ）は、それを説明するための図であり、斜線
部分が修正したい部分である。FIG. 9 (a) is a diagram for explaining it, and the shaded portion is the portion to be corrected.

ここで、上下左右のデータを利用するという段階を挿入
したとすると、同図のＢの位置にはＣのデータ、Ｄには
ｈのデータ、Ｆにはｉのデータ、Ｈにはｎのデータが必
ずくる。また、Ｅには、c,h,i,nのどれかのデータがく
ることになるので、ｃ−Ｂ−Ｅ、ｈ−Ｄ−Ｅ、ｎ−Ｈ−
Ｅ、ｉ−Ｆ−Ｅの各組の内の１組は、必ず同一のデータ
となる。なお、同図に示す矢印は、どのデータを利用で
きるかという可能性を示している。Here, if a step of using upper, lower, left, and right data is inserted, C data is located at the position B in the figure, h data is at D, i data is at F, and n data is at H. Will definitely come. Further, since any data of c, h, i, n comes to E, c-B-E, h-D-E, n-H-
One set of each set of E and i-F-E always has the same data. The arrows shown in the figure show the possibility of which data can be used.

第９図（ｂ）は、上記と同じ条件で上記提案のアルゴリ
ズムを適用した場合を示す図である。FIG. 9 (b) is a diagram showing a case where the proposed algorithm is applied under the same conditions as above.

たとえば、Ｄにはｆのデータまたはｊのデータがくる
し、Ｅにはｃ、ｈ、ｉ、またはｎのデータがくる。この
場合、３画素同一データが続くことは起こり得ない。逆
に、上記提案のアルゴリズムにおいて、たとえば、第９
図（ｃ）のように、修正画素が斜線部分のように広範囲
になったときに初めて、同図のＡ、Ｂ、Ｃの位置にａの
データが移るので、３画素同一データが連続する。For example, D has data of f or j, and E has data of c, h, i, or n. In this case, the same data of 3 pixels cannot occur. Conversely, in the proposed algorithm, for example, the 9th
As shown in FIG. 6C, the data of a moves to the positions of A, B, and C in the figure only when the corrected pixel has a wide range such as a shaded portion, so that the same data of three pixels continues.

以上の理由によって、本発明の第２の基本概念に基づ
き、修正画素の上下左右の画素からはデータを持ってこ
ない。For the above reason, based on the second basic concept of the present invention, data is not brought from the pixels above, below, left and right of the correction pixel.

上記実施例においては赤外光成分を利用してごみ、傷を
修正する例を挙げたが、男性の顔画像の中のひげのそり
跡を消す（修正する）場合等のように、顔という位置的
な限定と、黒に近いという色の限定等のように、他の条
件を与えるようにしてもよい。In the above-mentioned embodiment, the example of correcting dust and scratches by using the infrared light component is given. However, as in the case of erasing (correcting) the beard shaving trace in the face image of a man, Other conditions may be given, such as positional limitation and limitation of color close to black.

［発明の効果］ 本発明によれば、熟練者でなくても、画像を満足に修正
でき、しかもその修正作業が容易であるという効果を有
する。EFFECTS OF THE INVENTION According to the present invention, even an unskilled person can satisfactorily correct an image, and the correction work is easy.

【図面の簡単な説明】[Brief description of drawings]

第１図は、本発明の一実施例を示す動作のフローチャー
トである。 第２図は、ごみ、傷の影響を受けた画像の可視光成分を
示す図である。 第３図は、第２図における画像の赤外光成分を示す図で
ある。 第４図は、第３図の（ａ）の部分のデータの構成を示す
図である。 第５図は、第３図の（ｂ）の部分を二値化したビットプ
レーンデータの一例を示す図である。 第６図、第７図、第８図、第９図は、それぞれ、上記実
施例の原理を説明するための画素配列図である。 第10図は、上記実施例の説明図である。FIG. 1 is a flow chart of the operation showing one embodiment of the present invention. FIG. 2 is a diagram showing visible light components of an image affected by dust and scratches. FIG. 3 is a diagram showing infrared light components of the image in FIG. FIG. 4 is a diagram showing the data structure of the portion (a) of FIG. FIG. 5 is a diagram showing an example of bit plane data obtained by binarizing the part (b) of FIG. FIG. 6, FIG. 7, FIG. 8, and FIG. 9 are pixel array diagrams for explaining the principle of the above-described embodiment. FIG. 10 is an explanatory diagram of the above embodiment.

Claims (1)

【特許請求の範囲】[Claims] 【請求項１】デジタル画像を構成する画素について、修
正の必要がある異常画素と、修正の必要がない正常画素
とに分る段階と； 前記異常画素のうち注目する注目画素の周囲に存在する
画素について、前記注目画素からの距離が等しい位置に
存在するもの同志のグループにグループ化する段階と； 前記距離が短いグループの順に、前記グループの中か
ら、前記正常画素を選択する段階と； 前記距離が所定の値になるまで、前記選択動作を繰り返
しても、前記正常画素を選択することができないとき
に、前記注目異常画素の近くに存在する画素であって修
正された画素の中から、所定画素を選択する段階と； 前記各段階で選択された画素の画像データを、前記注目
画素の代りのデータにする段階と； で構成されることを特徴とする画像修正方法。1. A step of determining, for pixels constituting a digital image, abnormal pixels that need to be corrected and normal pixels that do not need to be corrected; Grouping the pixels into groups of mutually existing pixels that are located at the same distance from the pixel of interest; selecting the normal pixels from the group in the order of the group having the shortest distance; Until the distance reaches a predetermined value, even if the selection operation is repeated, when the normal pixel cannot be selected, among the corrected pixels that are present near the abnormal pixel of interest, A step of selecting a predetermined pixel; a step of using the image data of the pixel selected in each of the steps instead of the pixel of interest, Law.