JPH11187288A - Image improving device and recording medium - Google Patents
Image improving device and recording mediumInfo
- Publication number
- JPH11187288A JPH11187288A JP9356477A JP35647797A JPH11187288A JP H11187288 A JPH11187288 A JP H11187288A JP 9356477 A JP9356477 A JP 9356477A JP 35647797 A JP35647797 A JP 35647797A JP H11187288 A JPH11187288 A JP H11187288A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- value
- image quality
- standard deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Picture Signal Circuits (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、テレビカメラや
スキャナによって入力された画像のノイズの低減を行な
うことにより、画質を改善した画像を生成する画質改善
方法および画質改善装置及び記録媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image quality improving method, an image quality improving device, and a recording medium for generating an image with improved image quality by reducing noise of an image input by a television camera or a scanner.
【０００２】[0002]
【従来の技術】従来においては、例えば特開平８−３１
７２５５号公報に、画像からノイズ低減する画質改善方
法が提案されている。2. Description of the Related Art Conventionally, Japanese Patent Application Laid-Open No. 8-31
No. 7,255 proposes an image quality improvement method for reducing noise from an image.
【０００３】この画質改善方法では、まず、入力画像の
各画素について、各画素とその近傍の画素から画素値の
平均と分散の値を求める。次に、その平均の値を対応す
る画素の画素値とする平均値画像と、その分散の値を対
応する画素の画素値とする分散画像とを生成する。そし
て、その分散画像の画素値に応じて、入力画像の対応す
る画素値と平均値画像の対応する画素値との差を強調し
た値をその対応する画素値とする画質改善画像を生成す
る。In this image quality improving method, first, for each pixel of an input image, an average and a variance of pixel values are obtained from each pixel and neighboring pixels. Next, an average value image in which the average value is the pixel value of the corresponding pixel and a dispersed image in which the variance value is the pixel value of the corresponding pixel are generated. Then, according to the pixel values of the dispersed image, an image quality improvement image is generated in which a value that emphasizes the difference between the corresponding pixel value of the input image and the corresponding pixel value of the average image is the corresponding pixel value.
【０００４】[0004]
【発明が解決しようとする課題】従来の技術で示した画
質改善方法では、以下のような課題がある。 （１）分散等の統計量を求める際の計算量が多い。 （２）分散画像の画素値に応じた画像の強調を行う際の
しきい値を決定するための指針がない。 （３）画像中に小さい黒点（または白点）があった場合
に、その点のコントラストが低下する場合がある。上述
の分散画像を求める際に参照する領域（上記における近
傍の領域）を広くとった場合、分散画像の画素値は入力
画像と平均値画像の上記領域での分散値であるため、小
さい点が存在する部分では分散画像の画素値は小さい値
になってしまう。したがって、分散画像の画素値に応じ
て平均値画像に足し込まれる入力画像の対応する画素値
と平均値画像の対応する画素値との差を強調した値も小
さくなり、上述の小さい点の部分のコントラストが低下
してしまう。The image quality improving method shown in the prior art has the following problems. (1) A large amount of calculation is required when obtaining statistics such as variance. (2) There is no guideline for determining a threshold when emphasizing an image according to a pixel value of a dispersed image. (3) When there is a small black point (or white point) in an image, the contrast at that point may be reduced. When the area to be referred to when obtaining the above-mentioned dispersed image (the neighboring area in the above) is widened, the pixel value of the dispersed image is the variance in the above-described area of the input image and the average value image. In the existing part, the pixel value of the dispersed image becomes a small value. Therefore, the value that emphasizes the difference between the corresponding pixel value of the input image and the corresponding pixel value of the average image that is added to the average image according to the pixel value of the dispersed image is also small, and the above-described small point portion Contrast is reduced.
【０００５】本発明は、上記課題に鑑みてなされたもの
であり、強いノイズ除去効果を少ない計算量でかつ少な
い誤動作にて得ることができる画質改善装置及び記録媒
体を提供することを目的とする。The present invention has been made in view of the above problems, and has as its object to provide an image quality improving apparatus and a recording medium which can obtain a strong noise removing effect with a small amount of calculation and a small malfunction. .
【０００６】[0006]
【課題を解決するための手段】請求項１に記載の画質改
善装置は、複数の画素からなる第１画像の少なくとも改
善対象部分の画質を改善する画質改善装置であって、前
記改善対象部分に存在する各画素に対して、該画素を含
む該画素の近傍の領域内の画素値の最大値、最小値及び
平均値を求める演算手段と、前記改善対象部分に存在す
る各画素に対して、前記最大値と前記最小値の差がノイ
ズレベルに対応して決められたしきい値以下または該し
きい値よりも小さい場合に画素値を前記平均値に変換
し、それ以外の場合に実際に入力された画素値のままと
する画質改善手段と、を有するものである。According to a first aspect of the present invention, there is provided an image quality improving apparatus for improving the image quality of at least an improvement target portion of a first image including a plurality of pixels, wherein the improvement target portion includes: For each pixel that exists, a calculation unit that calculates the maximum value, the minimum value, and the average value of the pixel values in a region near the pixel including the pixel, and for each pixel that exists in the improvement target portion, When the difference between the maximum value and the minimum value is equal to or less than a threshold value determined according to the noise level or smaller than the threshold value, the pixel value is converted to the average value. Image quality improving means for maintaining the input pixel value.
【０００７】請求項２に記載の画質改善装置は、請求項
１に記載の画質改善装置において、前記第１画像とは異
なる第２画像を用いてノイズレベルを検出し、該ノイズ
レベルに応じて前記しきい値を算出するしきい値演算手
段を有してなり、該しきい値演算手段は、前記第１画像
と第２画像の差をとり差画像を生成する差画像生成手段
と、前記差画像の標準偏差を求めることにより画像中に
含まれるノイズ成分の標準偏差を求める標準偏差演算手
段と、前記標準偏差に基づきしきい値を求めるしきい値
算出手段と、を有するものである。According to a second aspect of the present invention, in the image quality improving apparatus according to the first aspect, a noise level is detected using a second image different from the first image, and the noise level is detected in accordance with the noise level. Threshold value calculating means for calculating the threshold value, wherein the threshold value calculating means calculates a difference between the first image and the second image to generate a difference image; It has a standard deviation calculating means for calculating a standard deviation of a noise component included in the image by calculating a standard deviation of the difference image, and a threshold calculating means for calculating a threshold based on the standard deviation.
【０００８】請求項３に記載の画質改善装置は、請求項
２に記載の画質改善装置において、前記標準偏差演算手
段は、前記差画像のヒストグラムを生成するヒストグラ
ム生成手段と、前記ヒストグラムのピーク値近傍の形状
より画像中に含まれるノイズ成分の標準偏差を求める標
準偏差算出手段と、を有するものである。According to a third aspect of the present invention, in the image quality improving apparatus according to the second aspect, the standard deviation calculating means includes a histogram generating means for generating a histogram of the difference image, and a peak value of the histogram. Standard deviation calculating means for calculating a standard deviation of a noise component included in an image from a nearby shape.
【０００９】請求項４に記載の画質改善装置は、請求項
２または請求項３に記載の画質改善装置において、前記
第２画像は、前記第１画像をその画素ピッチの整数倍だ
けずらした画像であるものである。According to a fourth aspect of the present invention, in the image quality improving apparatus according to the second or third aspect, the second image is obtained by shifting the first image by an integral multiple of the pixel pitch. It is something that is.
【００１０】請求項５に記載の画質改善装置は、請求項
２または請求項３に記載の画質改善装置において、前記
第２画像は、同一撮像装置により短い時間間隔で前記第
１画像とともに撮像された画像であるものである。According to a fifth aspect of the present invention, in the image quality improving apparatus according to the second or third aspect, the second image is captured together with the first image at a short time interval by the same image capturing apparatus. Image.
【００１１】請求項６に記載の画質改善装置は、請求項
２または請求項３に記載の画質改善装置において、前記
第２画像は、イメージシフト動作によって前記第１画像
とともに得られた画像であり、前記演算手段及び前記画
質改善手段は、前記第２画像の改善対象部分の画質をも
改善するものである。According to a sixth aspect of the present invention, in the image quality improving apparatus of the second or third aspect, the second image is an image obtained together with the first image by an image shifting operation. The calculating means and the image quality improving means also improve the image quality of a portion to be improved of the second image.
【００１２】請求項７に記載の画質改善装置は、請求項
６に記載の画質改善装置において、前記画質改善手段に
て出力される画素値が該当画素の画素値または平均値の
どちらの値を使用しているのかをフラグ情報として記録
するフラグ情報記録手段と、少なくとも画質改善後の前
記第１画像及び前記第２画像を合成することで１枚の画
像を得る際に、前記第１画像及び前記第２画像からは得
られない虚画素を、前記フラグ情報を参照して補間する
補間手段と、を有するものである。According to a seventh aspect of the present invention, in the image quality improving apparatus according to the sixth aspect, the pixel value output by the image quality improving means is either the pixel value of the corresponding pixel or the average value. Flag information recording means for recording whether or not the first image is used as the flag information; and obtaining the first image and the first image by combining at least the first image and the second image after the image quality is improved. Interpolating means for interpolating imaginary pixels that cannot be obtained from the second image with reference to the flag information.
【００１３】請求項８に記載の画質改善装置は、請求項
７に記載の画質改善装置において、前記補間手段は、補
間画素の周囲の画素の内、画素値として平均値を用いて
いるものの個数が所定値以上の場合に、前記補間の画素
値をそれに隣接するいずれかの画素の画素値とするもの
である。According to an eighth aspect of the present invention, there is provided the image quality improving apparatus according to the seventh aspect, wherein the interpolation means uses the average value as a pixel value among pixels around the interpolation pixel. Is greater than or equal to a predetermined value, the pixel value of the interpolation is set to the pixel value of any pixel adjacent thereto.
【００１４】請求項９に記載の画質改善装置は、複数の
画素からなる第１画像の少なくとも改善対象部分の画質
を改善する画質改善装置であって、前記第１画像とそれ
とは異なる第２画像の差をとり差画像を生成する差画像
生成手段と、前記差画像の標準偏差を求めることにより
画像中に含まれるノイズ成分の標準偏差を求める標準偏
差演算手段と、前記標準偏差に基づきしきい値を求める
しきい値算出手段と、を有し、前記しきい値を用いて、
前記改善対象部分に存在する各画素の画素値の妥当性を
判断し、該画素値を調整するものである。According to a ninth aspect of the present invention, there is provided an image quality improving apparatus for improving an image quality of at least a portion to be improved of a first image including a plurality of pixels, wherein the first image and a second image different from the first image are improved. Difference image generating means for taking a difference between the difference images, a standard deviation calculating means for finding a standard deviation of a noise component contained in the image by finding a standard deviation of the difference image, and a threshold based on the standard deviation. Threshold value calculating means for obtaining a value, using the threshold value,
The validity of the pixel value of each pixel existing in the portion to be improved is determined, and the pixel value is adjusted.
【００１５】請求項１０に記載の画質改善装置は、複数
の画素からなる第１画像の少なくとも改善対象部分の画
質を改善する画質改善プログラムを記憶した記録媒体で
あって、前記画質改善プログラムは、コンピューター
に、前記改善対象部分に存在する各画素に対して、該画
素を含む該画素の近傍の領域内の画素値の最大値、最小
値及び平均値を求めさせ、前記改善対象部分に存在する
各画素に対して、前記最大値と前記最小値の差がノイズ
レベルに対応して決められたしきい値以下または該しき
い値よりも小さい場合に画素値を前記平均値に変換さ
せ、それ以外の場合に実際に入力された画素値のままと
させるものである。According to a tenth aspect of the present invention, there is provided a recording medium storing an image quality improvement program for improving an image quality of at least a portion to be improved of a first image including a plurality of pixels, wherein the image quality improvement program comprises: For each pixel present in the portion to be improved, the computer determines the maximum value, the minimum value, and the average value of the pixel values in a region in the vicinity of the pixel including the pixel. For each pixel, when the difference between the maximum value and the minimum value is equal to or less than a threshold value determined according to the noise level or smaller than the threshold value, the pixel value is converted to the average value. In other cases, the pixel value actually input is kept.
【００１６】[0016]
【発明の実施形態】（実施の形態１）以下、実施の形態
１の画質改善装置について、図１を用いて説明する。図
１は、この実施の形態１における画質改善装置の構成を
示す構成図である。(Embodiment 1) Hereinafter, an image quality improving apparatus according to Embodiment 1 will be described with reference to FIG. FIG. 1 is a configuration diagram showing the configuration of the image quality improvement device according to the first embodiment.
【００１７】図１において、１は入力画像記憶手段、２
は領域情報抽出手段、３は最小値算出手段、４は最大値
算出手段、５は平均値算出手段、６はノイズレベル算出
手段、７はしきい値算出手段、８は画質改善手段、９は
画質改善画像記憶手段、１０は画像アドレス管理手段を
それぞれ示している。なお、最小値算出手段３，最大値
算出手段４，平均値算出手段５は請求項における演算手
段を、ノイズレベル算出手段６、しきい値算出手段７は
請求項におけるしきい値演算手段を構成している。ま
た、請求項における標準偏差演算手段は、後述する標準
偏差算出手段１０６及びヒストグラム生成手段１０５か
ら構成されている。In FIG. 1, reference numeral 1 denotes input image storage means;
Is area information extraction means, 3 is minimum value calculation means, 4 is maximum value calculation means, 5 is average value calculation means, 6 is noise level calculation means, 7 is threshold value calculation means, 8 is image quality improvement means, 9 is image quality improvement means. Image quality improvement image storage means 10 and image address management means respectively. The minimum value calculating means 3, the maximum value calculating means 4, and the average value calculating means 5 constitute the calculating means in the claims, and the noise level calculating means 6 and the threshold value calculating means 7 constitute the threshold value calculating means in the claims. doing. The standard deviation calculating means in the claims comprises a standard deviation calculating means 106 and a histogram generating means 105 which will be described later.
【００１８】同図において、入力画像記憶手段１に記憶
される画像は水平Ｘ画素×垂直Ｙ画素のモノクロ画像と
する。ただし、入力画像記憶手段１では、２枚の画像を
記憶するものとする。In FIG. 1, the image stored in the input image storage means 1 is a monochrome image of horizontal X pixels × vertical Y pixels. However, the input image storage means 1 stores two images.
【００１９】この図１に示した画質改善装置では、記憶
された２つの画像（画像１，画像２）の内の画像１の各
画素について、その画素及び近傍の画素の画素値から最
大値，最小値，平均値を算出する。また、２つの画像の
両方を用いてノイズレベル（しきい値）を抽出する。そ
して、画像１の各画素について、算出した最大値と最小
値の差が上記しきい値を越える（またはしきい値以上
の）場合は該当画素の画素値を実際の画素値のままと
し、算出した最大値と最小値の差が上記しきい値以下
（またはしきい値より小さい）場合は該当画素の値を上
記平均値とする。以下に、この処理ついて説明するが、
まず図１の画質改善装置の各構成要素を説明する。In the image quality improving apparatus shown in FIG. 1, for each pixel of the image 1 of the two stored images (image 1 and image 2), the maximum value, Calculate the minimum and average values. Further, a noise level (threshold) is extracted using both of the two images. If the calculated difference between the maximum value and the minimum value exceeds (or exceeds) the above threshold value for each pixel of the image 1, the pixel value of the pixel is left as the actual pixel value, If the difference between the maximum value and the minimum value is equal to or smaller than the threshold value (or smaller than the threshold value), the value of the corresponding pixel is set to the average value. The following describes this process.
First, each component of the image quality improving apparatus of FIG. 1 will be described.
【００２０】なお、ここでは、入力画像記憶手段１にお
ける１枚目（画像１）と２枚目（画像２）の画像中の座
標（ｉ，ｊ）における画素値をそれぞれＩ１（ｉ，
ｊ）、Ｉ２（ｉ，ｊ）（０≦ｉ＜Ｘ、０≦ｊ＜Ｙ）で表
すことにする。また、画質改善画像記憶手段９で記憶す
る画像改善された画像中の座標（ｉ，ｊ）における画素
値をＯ（ｉ，ｊ）（０≦ｉ＜Ｘ、０≦ｊ＜Ｙ）で表すこ
とにする。Here, the pixel values at the coordinates (i, j) in the first image (image 1) and the second image (image 2) in the input image storage means 1 are represented by I1 (i, i, j).
j) and I2 (i, j) (0 ≦ i <X, 0 ≦ j <Y). Also, the pixel value at the coordinates (i, j) in the image-improved image stored by the image-quality-improved image storage means 9 is represented by O (i, j) (0 ≦ i <X, 0 ≦ j <Y). To
【００２１】入力画像記憶手段１は、例えば２画面分の
記憶容量をもつメモリであり、１画面分の画像を記憶す
る２つのメモリ（画像１記憶領域１０１，画像２記憶領
域１０２）を有している。The input image storage means 1 is, for example, a memory having a storage capacity for two screens, and has two memories (an image 1 storage area 101 and an image 2 storage area 102) for storing one screen image. ing.
【００２２】領域情報抽出手段２は、上記入力画像記憶
手段１より特定の領域の画素値を読み出してくる手段で
ある。具体的には、画像１における各画素について順
に、その画素及びその近傍の画素を読み出す。以下、各
画素について読み出される該当画素とその近傍の画素か
らなる領域を、単に画素領域と称する。The area information extracting means 2 is a means for reading out a pixel value of a specific area from the input image storing means 1. Specifically, for each pixel in the image 1, the pixel and its neighboring pixels are read out in order. Hereinafter, an area formed of a corresponding pixel read out for each pixel and neighboring pixels is simply referred to as a pixel area.
【００２３】最小値算出手段３は、上記領域情報抽出手
段２により読み出された画素領域内でもっとも小さい値
となる画素値を求める。The minimum value calculating means 3 obtains a pixel value having the smallest value in the pixel area read by the area information extracting means 2.
【００２４】最大値算出手段４は、上記領域情報抽出手
段２により読み出された画素領域内でもっとも大きい値
となる画素値を求める。The maximum value calculating means 4 obtains the pixel value having the largest value in the pixel area read by the area information extracting means 2.
【００２５】平均値算出手段５は、上記領域情報抽出手
段２により読み出された画素領域内における画素の値の
平均値を求める。The average value calculating means 5 calculates the average value of the pixel values in the pixel area read by the area information extracting means 2.
【００２６】ノイズレベル算出手段６は、上記入力画像
記憶手段１中の画像１記憶領域１０１、画像２記憶領域
１０２に記憶されている２枚の画像の差分をとることに
より差画像を生成、さらに上記差画像の標準偏差を求め
る手段である。構成要素としては、差画像生成手段１０
４、ヒストグラム生成手段１０５、標準偏差算出手段１
０６を有する。差画像生成手段１０４は、画像１記憶領
域１０１の画像と画像２記憶領域１０２の画像の２枚の
画像についての差分をとった画像（差画像）を生成する
手段である。ヒストグラム生成手段１０５は、上記差画
像について画素値のヒストグラムを生成する手段であ
る。標準偏差算出手段１０６は、上記ヒストグラムを利
用して画像中に含まれるノイズ成分の標準偏差を算出す
る手段である。The noise level calculating means 6 generates a difference image by calculating the difference between the two images stored in the image 1 storage area 101 and the image 2 storage area 102 in the input image storage means 1. This is means for calculating the standard deviation of the difference image. As a component, the difference image generating means 10
4. Histogram generation means 105, standard deviation calculation means 1
06. The difference image generation unit 104 is a unit that generates an image (difference image) obtained by taking a difference between two images of the image in the image 1 storage area 101 and the image in the image 2 storage area 102. The histogram generation unit 105 is a unit that generates a histogram of pixel values for the difference image. The standard deviation calculating means 106 is a means for calculating a standard deviation of a noise component included in an image using the above-mentioned histogram.
【００２７】しきい値算出手段７は、上記ノイズレベル
算出手段６により求めた標準偏差の値を参照して画質改
善手段８で使用するしきい値を算出する手段である。The threshold value calculating means 7 is a means for calculating a threshold value used by the image quality improving means 8 with reference to the value of the standard deviation obtained by the noise level calculating means 6.
【００２８】画質改善手段８は、上記最小値算出手段
３、最大値算出手段４、平均値算出手段５、しきい値算
出手段７よりそれぞれ求めた領域内の最小値、領域内の
最大値、領域内の平均値、２枚の画像のノイズレベルに
依存するしきい値より、画質改善画像の画素値を決定す
る手段である。The image quality improving means 8 includes a minimum value in the area, a maximum value in the area obtained by the minimum value calculating means 3, the maximum value calculating means 4, the average value calculating means 5, and the threshold value calculating means 7, respectively. This is a means for determining the pixel value of the image with improved image quality from the average value in the area and a threshold value depending on the noise level of two images.
【００２９】画質改善画像記憶手段９は、例えば１画面
分の記憶容量をもつメモリであり、図１の場合には画像
１を画質改善した後の画像を記憶する。The image quality improving image storage means 9 is, for example, a memory having a storage capacity for one screen, and in the case of FIG. 1, stores an image obtained by improving the image quality of the image 1.
【００３０】画像アドレス管理手段１０は、上記領域情
報抽出手段２と画質改善手段８において、それぞれ入力
画像記憶手段１、画質改善画像記憶手段９へアクセスす
る際の画像の座標を与える手段である。The image address management means 10 is means for giving the coordinates of an image when the area information extraction means 2 and the image quality improvement means 8 access the input image storage means 1 and the image quality improvement image storage means 9, respectively.
【００３１】次に、本画質改善装置の動作を、図１を参
照して説明する。入力画像記憶手段１には、例えば、図
示しない撮像装置により入力された連続した２フレーム
（通常１／３０秒の時間間隔）のモノクロ画像が記憶さ
れているものとする。この場合、上記２枚の画像は空間
的にほぼ等しい位置で撮像された画像とみなすことがで
きる。例えば、画像１記憶領域１０１に上記２フレーム
中の１フレーム目の画像が、画像１記憶領域１０１に２
フレーム目の画像が記憶されるとする。記憶された２枚
の画像は、上記領域情報抽出手段２と上記ノイズレベル
算出手段６により読み出される。Next, the operation of the image quality improving apparatus will be described with reference to FIG. It is assumed that the input image storage means 1 stores, for example, monochrome images of two consecutive frames (normally 1/30 second time interval) input by an imaging device (not shown). In this case, the two images can be regarded as images captured at substantially the same spatial position. For example, the image of the first frame of the two frames is stored in the image 1
It is assumed that the image of the frame is stored. The two stored images are read by the area information extracting means 2 and the noise level calculating means 6.
【００３２】画像アドレス管理手段１０は、上記領域情
報抽出手段２での該当画素（領域の中心の画素）の座標
を与える。また、上記画質改善手段８の出力を上記画質
改善画像記憶手段９に書き込む際の座標を与える。ま
た、この画像アドレス管理手段１０は、記憶された入力
画像の１枚目Ｉ１（ｉ，ｊ）、画質改善画像Ｏ（ｉ，
ｊ）について、ｉ（０≦ｉ＜Ｘ），ｊ（０≦ｊ＜Ｙ）に
ついてのすべての組み合わせを実現するようにｉ、ｊの
走査を行う。これにより、画像中の全画素について画質
改善が行われる。The image address management means 10 gives the coordinates of the corresponding pixel (pixel at the center of the area) in the area information extraction means 2. In addition, the coordinates at the time of writing the output of the image quality improvement means 8 to the image quality improvement image storage means 9 are given. The image address management unit 10 also stores the first image I1 (i, j) of the stored input image and the image quality improvement image O (i,
With respect to j), scanning of i and j is performed so as to realize all combinations of i (0 ≦ i <X) and j (0 ≦ j <Y). Thereby, the image quality is improved for all the pixels in the image.
【００３３】上記領域情報抽出手段２は、画像アドレス
管理手段１０より与えられる座標をもとに、特定の領域
の複数画素を入力画像記憶手段１に記憶されている２枚
の画像のうちの１枚目の画像の画素情報を画像１記憶領
域１０１より読み出す。Based on the coordinates given by the image address management means 10, the area information extraction means 2 extracts a plurality of pixels of a specific area from one of two images stored in the input image storage means 1. The pixel information of the first image is read from the image 1 storage area 101.
【００３４】図４を参照して、その動作の具体例を説明
する。図４において、ＰＨ，ＰＶはそれぞれ入力画像記
憶手段１に記憶される画像を撮像した固体撮像素子の水
平画素ピッチ、垂直画素ピッチである。また、四角の領
域はそれぞれの画素であることを表わす。画像アドレス
管理手段１０より座標（ｉ，ｊ）が与えられた場合、こ
の具体例では図４のハッチング領域の画素の画素値（Ｉ
１（ｉ，ｊ），Ｉ１（ｉ，ｊ−２），Ｉ１（ｉ−１，ｊ
−１），Ｉ１（ｉ，ｊ−１），Ｉ１（ｉ＋１，ｊ−
１），Ｉ１（ｉ−２，ｊ），Ｉ１（ｉ−１，ｊ），Ｉ１
（ｉ＋１，ｊ），Ｉ１（ｉ＋２，ｊ），Ｉ１（ｉ−１，
ｊ＋１），Ｉ１（ｉ，ｊ＋１），Ｉ１（ｉ＋１，ｊ＋
１），Ｉ１（ｉ，ｊ＋２）の計１３画素）を読み出し
て、それぞれの画素値を例えばレジスタを使用して記憶
する。A specific example of the operation will be described with reference to FIG. In FIG. 4, PH and PV are a horizontal pixel pitch and a vertical pixel pitch of the solid-state imaging device that has captured an image stored in the input image storage unit 1, respectively. Further, a square area represents each pixel. When the coordinates (i, j) are given from the image address management means 10, in this specific example, the pixel value (I
1 (i, j), I1 (i, j-2), I1 (i-1, j)
-1), I1 (i, j-1), I1 (i + 1, j-
1), I1 (i-2, j), I1 (i-1, j), I1
(I + 1, j), I1 (i + 2, j), I1 (i-1,
j + 1), I1 (i, j + 1), I1 (i + 1, j +
1), and I1 (i, j + 2) for a total of 13 pixels), and store the respective pixel values using, for example, a register.
【００３５】次に、上記領域情報抽出手段２にて読み出
した画素情報をもとに、最小値算出手段３により最小の
値となる画素値、最大値算出手段４により最大の値とな
る画素値、平均値算出手段５により領域内の全画素につ
いての平均値を求める。平均値ｍは、以下の（数１）式
により計算する。Next, based on the pixel information read out by the area information extraction means 2, the minimum value calculation means 3 determines the minimum pixel value, and the maximum value calculation means 4 determines the maximum pixel value. The average value calculating means 5 calculates an average value for all pixels in the area. The average value m is calculated by the following (Equation 1).
【００３６】[0036]
【数１】 (Equation 1)
【００３７】ノイズレベル算出手段６中の差画像生成手
段１０４は、上記入力画像記憶手段１の画像１記憶領域
１０１と画像２記憶領域１０２に記憶された２枚の画像
の画素値をもとに、画像中のノイズレベルを算出する。
具体的には、上述のＩ１（ｉ，ｊ）、Ｉ２（ｉ，ｊ）を
用いて、両画像の差画像Ｄ（ｉ，ｊ）を以下の（数２）
式により計算する。The difference image generation means 104 in the noise level calculation means 6 is based on the pixel values of the two images stored in the image 1 storage area 101 and the image 2 storage area 102 of the input image storage means 1. , Calculate the noise level in the image.
Specifically, the difference image D (i, j) between the two images is calculated using the above-mentioned I1 (i, j) and I2 (i, j) by the following (Equation 2).
It is calculated by the formula.
【００３８】[0038]
【数２】 (Equation 2)
【００３９】次に、ヒストグラム生成手段１０５によ
り、上記差画像Ｄ（ｉ，ｊ）の画素値についてのヒスト
グラムを作成する。そして、ヒストグラム上でピーク
（最も画素数の多い箇所）となる画素値ｘ２を求める。
続いて、ｘ２からヒストグラム上の最大の画素値までの
画素数の総和Ａを求める。次に、ｘ２から画素値の大き
くなる方向に画素数を加算していき、その加算値が上記
画素数の総和Ａの１／２のに最も近くなる画素値ｘ１を
求める。Next, a histogram for the pixel values of the difference image D (i, j) is created by the histogram generation means 105. Then, a pixel value x2 that becomes a peak (a portion having the largest number of pixels) on the histogram is obtained.
Subsequently, a total sum A of the number of pixels from x2 to the maximum pixel value on the histogram is obtained. Next, the number of pixels is added from x2 in the direction in which the pixel value increases, and a pixel value x1 whose addition value is closest to 1/2 of the sum A of the pixels is obtained.
【００４０】次に、標準偏差算出手段１０６により、画
像中に含まれるノイズ成分の標準偏差を求める。ここ
で、標本集団ｘが母平均μ、母分散σ×σの正規分布で
ある場合の、下記の（数３）式による標準型への変換を
考える。Next, the standard deviation calculating means 106 calculates the standard deviation of the noise component contained in the image. Here, when the sample group x is a normal distribution having a population mean μ and a population variance σ × σ, conversion to a standard type by the following (Equation 3) is considered.
【００４１】[0041]
【数３】 (Equation 3)
【００４２】上記の変換を行うことにより、標本集団ｚ
は母平均０、母分散１の標準正規分布となる。ここで、
上記標準正規分布において標本数が最も多くなるピーク
以降の確率密度関数を積分した値が例えば０．２５の場
合を考える。この場合、ｚが０．６７となるため、上記
差分画像により表わされるノイズの分布を正規分布とす
ると、下記の（数４）式が成立する。By performing the above conversion, the sample population z
Is a standard normal distribution with population mean 0 and population variance 1. here,
Consider a case where the value obtained by integrating the probability density function after the peak at which the number of samples is the largest in the standard normal distribution is, for example, 0.25. In this case, since z is 0.67, if the distribution of the noise represented by the difference image is a normal distribution, the following equation (4) holds.
【００４３】[0043]
【数４】 (Equation 4)
【００４４】ここで、（数４）式での標準偏差σは、１
画面目の画像と２画面目の画像の差画像より求めてい
る。そこで、２枚の画像が全く等しい撮像位置で撮影さ
れている場合、上記差画像は２枚の画像中のノイズ成分
の差成分をあらわすことになる。したがって、各々１枚
の画像でのノイズ成分の標準偏差σ２を求めるには、上
記差画像で表われるノイズ成分が実効値となるので以下
の式で求めることができる。Here, the standard deviation σ in the equation (4) is 1
It is obtained from the difference image between the image on the screen and the image on the second screen. Therefore, when two images are photographed at exactly the same imaging position, the difference image represents a difference component between noise components in the two images. Therefore, in order to obtain the standard deviation σ2 of the noise component in each single image, the noise component appearing in the difference image becomes an effective value, and thus can be obtained by the following equation.
【００４５】[0045]
【数５】 (Equation 5)
【００４６】上記（数５）式より、１枚の画像単体につ
いてのノイズ成分の標準偏差σ２を求めることができ
る。From the above equation (5), the standard deviation σ2 of the noise component for one image alone can be obtained.
【００４７】ここで、上記のようにヒストグラムを使用
してノイズ成分の標準偏差を求める方法の利点について
述べる。例えば、２枚の画像にわずかに相対的な撮像位
置のずれがある場合を考える。上記２枚の画像の差画像
のノイズ成分の標準偏差を求める方法としては例えば仮
平均を使用して求める方法が公知であるが、この方法で
は２枚の画像の相対的な撮像位置がずれているために元
の画像のエッジ部分に差画像でもエッジが表われてしま
い、標準偏差を求める際の誤差要因となる。ここで、ヒ
ストグラムを使用した場合は、差画像に表われたエッジ
はヒストグラムの両端（最大となる画素値と最小となる
画素値）の近傍に現れることになる。したがって、ヒス
トグラムのピーク近辺の形状を参照して標準偏差を求め
る本発明の手法では、上記エッジによる誤差の影響は少
なくなるいう利点がある。Here, the advantage of the method of obtaining the standard deviation of the noise component using the histogram as described above will be described. For example, consider a case where there is a slight relative shift in the imaging position between two images. As a method of obtaining the standard deviation of the noise component of the difference image between the two images, for example, a method of obtaining the standard deviation using a tentative average is known, but in this method, the relative imaging positions of the two images are shifted. Therefore, an edge appears in the edge portion of the original image even in the difference image, which becomes an error factor when calculating the standard deviation. Here, when the histogram is used, edges appearing in the difference image appear near both ends (the maximum pixel value and the minimum pixel value) of the histogram. Therefore, the method of the present invention for determining the standard deviation by referring to the shape near the peak of the histogram has an advantage that the influence of the error due to the edge is reduced.
【００４８】上記ノイズレベル算出手段６で求めた標準
偏差σ２の値を使用して、上記しきい値算出手段７では
画質改善手段８で使用するしきい値Ｔを算出する。具体
的には、しきい値Ｔは以下の（数６）式により求める。Using the value of the standard deviation σ2 obtained by the noise level calculating means 6, the threshold value calculating means 7 calculates a threshold value T used by the image quality improving means 8. Specifically, the threshold value T is obtained by the following (Equation 6).
【００４９】[0049]
【数６】 (Equation 6)
【００５０】ここでｋ＝６としているのは、誤動作によ
る画質劣化とノイズ除去効果のトレードオフのためであ
る。（統計的なノイズ除去率約９９．７％）ここで、誤
動作による画質劣化を少なくしたい場合には例えばｋ＝
２（統計的なノイズ除去率約６８．３％）のようにｋの
値として６より小さい値を使用すれば良い。また、平滑
化効果を高めたい場合はｋ＝１０（ノイズ除去率１００
％）のようにｋの値として６より大きい値を使用すれば
よい。The reason for setting k = 6 here is to trade off image quality degradation due to malfunction and noise removal effect. (Statistical noise removal rate of about 99.7%) Here, when it is desired to reduce the image quality deterioration due to malfunction, for example, k =
A value smaller than 6 may be used as the value of k, such as 2 (statistical noise removal rate of about 68.3%). Further, when it is desired to enhance the smoothing effect, k = 10 (noise removal rate 100
%), A value larger than 6 may be used as the value of k.
【００５１】上記画質改善手段８は、以上の構成要素で
求めた、領域内の最小値・最大値・平均値、および、１
枚の画像についてのノイズ成分の標準偏差σ２から求め
たしきい値Ｔを用いて、画質改善画像を生成する。具体
的には、上記領域情報内の最大値から最小値を減じた値
が上記しきい値Ｔよりも大きい場合は、該当画素（画像
アドレス管理手段１０により与えられた座標の画素）の
画素値として領域情報抽出手段２で得られた画素群の中
央に位置する画像の値をそのまま使用する。また、上記
領域情報内の最大値から最小値を減じた値が上記しきい
値Ｔ以下の場合は、該当画素の画素値として上記平均値
算出手段５で得られた平均値を使用する。このようにし
て得られた該当画素の画素値は、画質改善画像記憶手段
９の画像アドレス管理手段１０より与えられる座標に対
応するアドレスに書き込まれる。The image quality improving means 8 calculates the minimum value, maximum value, average value, and 1
The image quality improvement image is generated using the threshold value T obtained from the standard deviation σ2 of the noise component for one image. Specifically, when the value obtained by subtracting the minimum value from the maximum value in the area information is larger than the threshold value T, the pixel value of the corresponding pixel (the pixel at the coordinates given by the image address management means 10) The value of the image located at the center of the pixel group obtained by the area information extraction means 2 is used as it is. If the value obtained by subtracting the minimum value from the maximum value in the area information is equal to or smaller than the threshold value T, the average value obtained by the average value calculation means 5 is used as the pixel value of the corresponding pixel. The pixel value of the corresponding pixel obtained in this way is written to the address corresponding to the coordinates given by the image address management means 10 of the image quality improvement image storage means 9.
【００５２】本実施の形態における画質改善手段によれ
ば、しきい値を求める際にヒストグラムを使用してお
り、分散等の統計量を求めることに比べ乗除算をほとん
ど使用しないため、計算量を少なくすることができる。
また、画像のノイズレベルを求めそこからしきい値を決
定しているため、画像の撮像状況に応じたレベルのノイ
ズ除去が可能となる。また、領域内に特異な画素（例え
ば画像中に小さい黒点（または白点）がある場合等）が
あった場合でも、その点のコントラストが低下する等の
誤動作がないという効果がある。According to the image quality improving means in the present embodiment, the histogram is used for obtaining the threshold value, and multiplication / division is hardly used as compared with obtaining the statistic such as variance. Can be reduced.
Further, since the noise level of the image is obtained and the threshold value is determined therefrom, it is possible to remove the noise at a level according to the imaging state of the image. Further, even when there is a peculiar pixel (for example, when there is a small black point (or white point) in the image) in the area, there is an effect that there is no malfunction such as a decrease in contrast at that point.
【００５３】なお、本実施の形態では、画質改善される
画像を入力画像記憶手段１の１枚目の画像としたが、２
枚目の画像を対象として同様の処理を行ってもよい。In this embodiment, the image whose image quality is to be improved is the first image in the input image storage means 1.
Similar processing may be performed on the second image.
【００５４】また、本実施の形態では、領域情報抽出手
段２において領域の形状を菱形にしているが、正方形・
長方形等の他の形状の領域を用いてもよい。また、領域
の大きさもこれに限るものではない。In the present embodiment, the area information extracting means 2 sets the area shape to a rhombus.
Regions of other shapes, such as rectangles, may be used. Further, the size of the region is not limited to this.
【００５５】さらに、本実施の形態では差分画像のピー
クを求める際に、もっとも標本数の多い画素値をピーク
としたが、誤動作をさけるためにヒストグラム上の近傍
の複数画素値の画素数の和によりピークを求めてもよ
い。この場合は、ヒストグラムが平滑化されるため標本
数が少ない場合等の理由による誤動作を少なくすること
ができる。Further, in the present embodiment, when the peak of the difference image is obtained, the pixel value with the largest number of samples is set as the peak. However, in order to avoid malfunction, the sum of the pixel numbers of the neighboring pixel values on the histogram is avoided. May be used to determine the peak. In this case, since the histogram is smoothed, malfunctions due to a small number of samples can be reduced.
【００５６】また、本実施の形態ではモノクロ画像を対
象としているが、カラー画像を対象とした場合において
も、ＲＧＢそれぞれの画像に対して本発明の画質改善処
理を行えばよい。また、輝度・色差信号からなる画像情
報の場合についても同様である。Although the present embodiment deals with a monochrome image, the image quality improvement processing of the present invention may be performed on each of RGB images even when a color image is targeted. The same applies to the case of image information consisting of luminance / color difference signals.
【００５７】（実施の形態２）図２は、本発明に係る画
質改善装置の実施の形態２を示す構成図であって、図中
実施の形態１を示す図１と同一構成部分は同一符号をも
って表し、その説明を省略する。(Embodiment 2) FIG. 2 is a block diagram showing a second embodiment of the image quality improving apparatus according to the present invention. In FIG. 2, the same components as those in FIG. And its explanation is omitted.
【００５８】本実施の形態の画質改善装置が実施の形態
１の画質改善装置と異なっているのは入力画像記憶手段
２１，ノイズレベル算出手段２２の部分である。その他
の部分の動作は、実施例１の場合と同様であるため説明
を省略する。The image quality improving device of the present embodiment is different from the image quality improving device of the first embodiment in the parts of the input image storing means 21 and the noise level calculating means 22. The operation of the other parts is the same as that of the first embodiment, and the description is omitted.
【００５９】入力画像記憶手段２１は、例えば１画面分
の記憶容量をもつメモリであり、画像記憶領域１０７を
有している。この画像記憶領域１０７は、図示しない撮
像装置により入力された１フレームのモノクロ画像が記
憶されているものとする。記憶された画像は、上記領域
情報抽出手段２と上記ノイズレベル算出手段２２により
読み出される。The input image storage means 21 is a memory having a storage capacity for one screen, for example, and has an image storage area 107. It is assumed that the image storage area 107 stores a one-frame monochrome image input by an imaging device (not shown). The stored image is read by the area information extracting means 2 and the noise level calculating means 22.
【００６０】なお、入力画像記憶手段２１における画像
中の座標（ｉ，ｊ）における画素値をＩ（ｉ，ｊ）（０
≦ｉ＜Ｘ，０≦ｊ＜Ｙ）で表すことにする。The pixel value at the coordinates (i, j) in the image in the input image storage means 21 is represented by I (i, j) (0
.Ltoreq.i <X, 0.ltoreq.j <Y).
【００６１】ノイズレベル算出手段２２は、上記入力画
像記憶手段２１に記憶されている１枚の画像とその１枚
の画像を右に１画素ずらした画像の２枚の画像の差分を
とることにより差画像を生成、さらに上記差画像の標準
偏差を求める。このノイズレベル算出手段２２は、差画
像生成手段１０８、ヒストグラム生成手段１０５、標準
偏差算出手段１０６を有している。差画像生成手段１０
８は、画像記憶領域１０７の画像とその画像を右に１画
素シフトした画像との差分をとった画像（差画像）を生
成する。ヒストグラム生成手段１０５は、上記差画像に
ついてのヒストグラムを生成する。標準偏差算出手段１
０６は、上記ヒストグラムを利用して画像中に含まれる
ノイズ成分の標準偏差を算出する。The noise level calculating means 22 calculates a difference between one image stored in the input image storing means 21 and an image obtained by shifting the one image to the right by one pixel. A difference image is generated, and a standard deviation of the difference image is obtained. The noise level calculator 22 includes a difference image generator 108, a histogram generator 105, and a standard deviation calculator 106. Difference image generating means 10
Reference numeral 8 denotes an image (difference image) obtained by calculating the difference between the image in the image storage area 107 and the image obtained by shifting the image by one pixel to the right. The histogram generation unit 105 generates a histogram for the difference image. Standard deviation calculation means 1
In step 06, the standard deviation of the noise component contained in the image is calculated using the histogram.
【００６２】差画像生成手段１０８は具体的には、上述
のＩ（ｉ，ｊ）を用いて、両画像の差分画像Ｄ（ｉ，
ｊ）を以下の（数７）式により計算する。Specifically, the difference image generating means 108 uses the above-mentioned I (i, j) to calculate the difference image D (i,
j) is calculated by the following equation (7).
【００６３】[0063]
【数７】 (Equation 7)
【００６４】次に、ヒストグラム生成手段１０５は上記
差分画像Ｄ（ｉ，ｊ）のヒストグラムを作成する。その
後の処理については実施の形態１と同じであるため説明
を省略する。Next, the histogram generation means 105 generates a histogram of the difference image D (i, j). Subsequent processing is the same as in the first embodiment, and a description thereof will not be repeated.
【００６５】本実施の形態における画質改善手段によれ
ば、しきい値を求める際にヒストグラムを使用してお
り、分散等の統計量を求めることに比べ乗除算をほとん
ど使用しないため、計算量を少なくすることができる。
また、ノイズレベルを求めそこからしきい値を決定して
いるため、画像の撮像状況に応じたレベルのノイズ除去
が可能となる。また、領域内に特異な画素（例えば画像
中に小さい黒点（または白点）がある場合等）があった
場合でも、その点のコントラストが低下する等の誤動作
がないという効果がある。また、１フレームの画像のみ
を使用してノイズレベルを求めているため、入力画像記
憶段２１の記憶容量を特別に増やす必要がないという利
点がある。According to the image quality improving means in the present embodiment, a histogram is used for obtaining a threshold value, and multiplication / division is hardly used as compared with obtaining a statistic such as variance. Can be reduced.
Further, since the noise level is obtained and the threshold value is determined therefrom, it is possible to remove the noise at a level according to the imaging state of the image. Further, even when there is a peculiar pixel (for example, when there is a small black point (or white point) in the image) in the area, there is an effect that there is no malfunction such as a decrease in contrast at that point. Further, since the noise level is obtained by using only one frame image, there is an advantage that the storage capacity of the input image storage stage 21 does not need to be specially increased.
【００６６】本実施の形態において、差分画像を求める
際に原画像と原画像を右に１画素ずらした画像との間で
の演算を行ったが、上、下、左、または斜めに動かす構
成としてもよい。In this embodiment, when the difference image is obtained, the calculation is performed between the original image and the image obtained by shifting the original image by one pixel to the right, but the image is moved up, down, left, or diagonally. It may be.
【００６７】また、本実施の形態ではモノクロ画像を対
象としているが、カラー画像を対象とした場合において
も、ＲＧＢそれぞれの画像に対して本発明の画質改善処
理を行えばよい。また、輝度・色差信号からなる画像情
報の場合についても同様である。In the present embodiment, a monochrome image is targeted. However, even when a color image is targeted, the image quality improvement processing of the present invention may be performed on each of RGB images. The same applies to the case of image information consisting of luminance / color difference signals.
【００６８】（実施の形態３）図３は、本発明の実施の
形態３の画質改善装置を示す構成図であって、図中実施
の形態１を示す図１と同一構成部分は同一符号をもって
表し、その説明を省略する。(Embodiment 3) FIG. 3 is a block diagram showing an image quality improving apparatus according to Embodiment 3 of the present invention. In FIG. 3, the same components as those in FIG. And its description is omitted.
【００６９】本実施の形態が実施の形態１と異なるのは
入力画像記憶手段３１、領域情報抽出手段３２、画質改
善手段３３、画質改善画像記憶手段３４、画像アドレス
管理手段３５、フラグ情報記憶手段３６、イメージシフ
ト補間手段３７、光量補正手段３８の部分である。その
他の部分の動作は、実施の形態１の場合と同様であるた
め説明を省略する。なお、本実施の形態の画質改善装置
は、イメージシフト動作により生成された２フレームの
画像の両方から改善画像を形成するものである。This embodiment is different from the first embodiment in that the input image storage means 31, the area information extraction means 32, the image quality improvement means 33, the image quality improvement image storage means 34, the image address management means 35, the flag information storage means 36, an image shift interpolation unit 37, and a light amount correction unit 38. The operation of the other parts is the same as that of the first embodiment, and the description is omitted. The image quality improving apparatus according to the present embodiment forms an improved image from both images of two frames generated by the image shift operation.
【００７０】以下、本実施の形態の画質改善装置の動作
について説明する。入力画像記憶手段３１は、例えば２
画面分の記憶容量をもつメモリであり、イメージシフト
機構をもつ撮像装置により入力された２フレームのモノ
クロ画像を記憶する。この入力画像記憶手段３１は、画
像１記憶領域１０９と画像２記憶領域１１０を有してい
る。記憶された画像は、上記領域情報抽出手段３２と上
記ノイズレベル算出手段６により読み出される。ここ
で、上記イメージシフト機構としては、例えば本出願人
が先に出願した特願平８−８６２８公報に記載の機構が
使用できる。Hereinafter, the operation of the image quality improving apparatus according to this embodiment will be described. The input image storage unit 31 stores, for example, 2
This is a memory having a storage capacity for a screen, and stores two-frame monochrome images input by an imaging device having an image shift mechanism. The input image storage unit 31 has an image 1 storage area 109 and an image 2 storage area 110. The stored image is read by the area information extracting means 32 and the noise level calculating means 6. Here, as the image shift mechanism, for example, a mechanism described in Japanese Patent Application No. 8-8628 filed earlier by the present applicant can be used.
【００７１】ここでは、イメージシフトの例としてＣＣ
Ｄの水平画素ピッチをＰＨ、垂直画素ピッチをＰＶとし
た場合において、１枚目の画像に対して２枚目の動きベ
クトル［０．５×ＰＨ，０．５×ＰＶ］となる空間的な
撮像位置で撮像されるイメージシフトを行う場合につい
て説明する。図５はイメージシフト動作を説明する図で
ある。Here, as an example of image shift, CC
If the horizontal pixel pitch of D is PH and the vertical pixel pitch is PV, the spatial motion of the second image as the second motion vector [0.5 × PH, 0.5 × PV] with respect to the first image A case where an image is shifted at an imaging position will be described. FIG. 5 is a diagram illustrating the image shift operation.
【００７２】図５において、ＰＨ，ＰＶはそれぞれ撮像
に使用した撮像素子の水平方向の画素ピッチ、垂直方向
の画素ピッチである。また、図中の四角はそれぞれ画素
を表わしている。また、図では空間的な撮像位置をあわ
せた形にて表現しており、右下がりのハッチングの四角
がイメージシフトでの１枚目の撮像画像であり、右上が
りの四角がイメージシフトでの２枚目の撮像画像であ
る。図中の白抜きの四角は実画素として存在していない
画素（補間画素）を示している。なお、図中のＳ（ｘ，
ｙ）は座標（ｘ，ｙ）に対応する画素を示している。In FIG. 5, PH and PV are the pixel pitch in the horizontal direction and the pixel pitch in the vertical direction of the image sensor used for imaging, respectively. Each square in the figure represents a pixel. Also, in the figure, the spatial imaging positions are represented in a combined manner, and the hatched square with the lower right is the first captured image in the image shift, and the square with the upper right is the 2nd image in the image shift. This is the first captured image. White squares in the drawing indicate pixels (interpolated pixels) that do not exist as real pixels. Note that S (x,
y) indicates a pixel corresponding to the coordinates (x, y).
【００７３】なお、以下では入力画像記憶手段３１にお
ける画像中の座標（ｉ，ｊ）における画素値をそれぞれ
Ｉ１（ｉ，ｊ），Ｉ２（ｉ，ｊ）（０≦ｉ＜Ｘ、０≦ｊ
＜Ｙ）で表して説明する。In the following, the pixel values at coordinates (i, j) in the image in the input image storage means 31 are represented by I1 (i, j) and I2 (i, j) (0≤i <X, 0≤j, respectively).
<Y) will be described.
【００７４】画像アドレス管理手段３５は、上記領域情
報抽出手段３２に対して該当画素（領域の中心点の座
標）の座標を与える。また、上記画質改善手段３３の出
力を上記画質改善画像記憶手段３４に書き込む際の座標
を与える。また、この画像アドレス管理手段３５にて、
ｉ（０≦ｉ≦Ｘ），ｊ（０≦ｊ≦Ｙ）についてのすべて
の組み合わせを実現するようにｉ，ｊの走査を行う。ま
た、本実施の形態の場合には、入力画像記憶手段３１上
の２枚の画像についてそれぞれ画質改善画像を作成する
ので、上記ｉ，ｊの走査を２枚の画像Ｉ１（ｉ，ｊ），
Ｉ２（ｉ，ｊ）についてそれぞれ行う。以上により、２
枚の画像中の全画素について画質が改善される。The image address management means 35 gives the coordinates of the corresponding pixel (the coordinates of the center point of the area) to the area information extraction means 32. Also, the coordinates when the output of the image quality improvement means 33 is written to the image quality improvement image storage means 34 are given. Further, the image address management means 35
Scanning of i and j is performed so as to realize all combinations of i (0 ≦ i ≦ X) and j (0 ≦ j ≦ Y). Further, in the case of the present embodiment, since the image quality improvement image is created for each of the two images on the input image storage means 31, the scanning of i and j is performed for the two images I1 (i, j),
This is performed for I2 (i, j). From the above, 2
The image quality is improved for all pixels in one image.
【００７５】領域情報抽出手段３２は、画像アドレス管
理手段３５より与えられる１枚目または２枚目の画像の
どちらにアクセスするかの情報と画像の座標情報をもと
に、上記入力画像記憶手段３１より特定の領域の画素値
を読み出す。ここで、特定領域とは画像アドレス管理手
段３５により指定された該当画素とその近傍の画素から
なる領域である。The area information extracting means 32 is based on the information on whether to access the first or second image and the coordinate information of the image provided by the image address managing means 35, and stores the input image storing means. The pixel value of a specific area is read from 31. Here, the specific area is an area composed of the corresponding pixel designated by the image address management means 35 and its neighboring pixels.
【００７６】領域情報抽出手段３２により読み出された
画素値は最小値算出手段３，最大値算出手段４，平均値
算出手段５に入力される。これらは上記特定領域におけ
る画素値の最小値，最大値，平均値の算出を行い、画質
改善手段３３に出力する。The pixel values read by the area information extracting means 32 are input to the minimum value calculating means 3, the maximum value calculating means 4, and the average value calculating means 5. These calculate the minimum value, the maximum value, and the average value of the pixel values in the specific area, and output the calculated values to the image quality improving unit 33.
【００７７】一方、ノイズレベル算出手段６，しきい値
算出手段７は、実施の形態１で示した手法によりしきい
値を算出し、画質改善手段３３に出力する。On the other hand, the noise level calculating means 6 and the threshold value calculating means 7 calculate the threshold value by the method shown in the first embodiment and output the calculated threshold value to the image quality improving means 33.
【００７８】画質改善手段３３は、上記特定の領域内の
画素値の最小値，最大値，平均値およびしきい値を用い
て、画質改善画像を生成する。アルゴリズムについて
は、実施の形態１の場合と同様であるため説明を省略す
る。そして、上記画質改善手段３３で得られた該当画素
の画素値は、画質改善画像記憶手段３４の画像アドレス
管理手段１０より与えられるフレーム・座標に対応する
アドレスに書き込まれる。The image quality improving means 33 generates an image with improved image quality using the minimum value, the maximum value, the average value, and the threshold value of the pixel values in the specific area. The algorithm is the same as that in the first embodiment, and a description thereof will not be repeated. Then, the pixel value of the corresponding pixel obtained by the image quality improving means 33 is written to an address corresponding to the frame / coordinate given by the image address management means 10 of the image quality improving image storage means 34.
【００７９】画質改善画像記憶手段３４は、水平（２×
Ｘ）画素×垂直（２×Ｙ）画素の記憶領域を持つメモリ
であり、イメージシフト補間手段３７によりアクセスさ
れて、記憶したノイズ除去後のイメージシフトで得られ
た２枚の画像に対して、イメージシフト合成画像を作成
する際に実画素として存在していない画素（虚画素）に
対して補間が行われる。The image quality improving image storage means 34 stores a horizontal (2 ×
A memory having a storage area of X) pixels × vertical (2 × Y) pixels. The memory is accessed by the image shift interpolation unit 37, and stores two images obtained by the image shift after noise removal. When creating an image shift composite image, interpolation is performed on pixels (imaginary pixels) that do not exist as real pixels.
【００８０】本実施の形態では、イメージシフト補間手
段３７が画質改善手段３３での処理を利用することで少
ない計算量で補間を行う。この処理について以下に詳細
に説明する。In this embodiment, the image shift interpolation means 37 performs the interpolation with a small amount of calculation by using the processing of the image quality improvement means 33. This processing will be described in detail below.
【００８１】補間前において画質改善画像記憶手段３４
に記憶された画質改善画像は、画質改善手段３３の処理
を受けており、特定領域の平均値を画素値として持つ画
素と、実際に撮像された値を画素値としてもつ画素が混
在したものとなる。ここで、特定領域の平均値を画素値
としてもつ画素は、その画素を中心とする領域内におけ
る画素値の差が小さい画素である。したがって、このよ
うな平均値を画素値として有する画素により略囲まれて
いるような画素（虚画素）は、その取り囲む画素と略同
一の画素値を有していると考えて良い。本実施の形態で
は、このような考えに基づき、上記のような条件を満た
す画素（虚画素）の画素値を単に隣接する実画素の画素
値で表現することで、補間処理に要する計算量を減少さ
せる。Before the interpolation, the image quality improving image storage means 34
Are processed by the image quality improving means 33, and pixels having an average value of a specific region as a pixel value and pixels having an actually captured value as a pixel value are mixed. Become. Here, a pixel having an average value of a specific region as a pixel value is a pixel having a small difference in pixel value in a region around the pixel. Therefore, a pixel (imaginary pixel) substantially surrounded by a pixel having such an average value as a pixel value may be considered to have substantially the same pixel value as the surrounding pixel. In the present embodiment, based on such a concept, the pixel value of a pixel (imaginary pixel) that satisfies the above condition is simply represented by the pixel value of an adjacent real pixel, thereby reducing the amount of calculation required for the interpolation processing. Decrease.
【００８２】具体的には、画質改善手段３３が画質改善
画像の画素値として該当画素の画素値，領域の平均値の
どちらを出力したかについてフラグ情報記憶手段３６に
フラグ情報として記録するようにしている。例えば、該
当画素の画素値（中心画素値）として出力した場合は
０、平均値として出力した場合は１というようにビット
情報として、上記フラグ情報記憶手段３６の図示しない
フラグ情報記憶領域に記録する。フラグ情報記憶手段３
６は、例えば２×Ｘ×Ｙビットの容量を持つメモリであ
る。上記画質改善手段３３により、フラグ情報を書き込
まれる。More specifically, whether the image quality improving means 33 outputs the pixel value of the corresponding pixel or the average value of the area as the pixel value of the image quality improved image is recorded as flag information in the flag information storing means 36. ing. For example, bit information such as 0 when the pixel value is output as the pixel value (center pixel value) of the corresponding pixel and 1 when the pixel value is output as the average value is recorded in a flag information storage area (not shown) of the flag information storage unit 36. . Flag information storage means 3
Reference numeral 6 denotes a memory having a capacity of, for example, 2 × X × Y bits. The flag information is written by the image quality improving means 33.
【００８３】そして、イメージシフト補間手段３７が、
実画素として存在していない画素Ｓ（ｘ，ｙ）について
その周囲４画素（実画素）に対応するフラグ情報を上記
フラグ情報記憶手段３６より読み出し、フラグ情報のう
ち３箇所以上が１である場合（つまり３箇所以上が平均
値の画素値を有している場合）はニアレストネイバー補
間により画素補間を行う。すなわち、画素Ｓ（ｘ，ｙ）
の値としては、例えば画素Ｓ（ｘ−１，ｙ）における画
素値を用いる。周囲４画素に対応するフラグ情報のうち
３箇所未満が１である場合は以下の（数８）を計算する
ことにより補間画素の値を求める。Then, the image shift interpolation means 37
For the pixel S (x, y) that does not exist as a real pixel, flag information corresponding to the four surrounding pixels (real pixels) is read from the flag information storage unit 36, and three or more of the flag information are 1 In other words, when three or more locations have an average pixel value, pixel interpolation is performed by nearest neighbor interpolation. That is, the pixel S (x, y)
For example, the pixel value of the pixel S (x-1, y) is used as the value of. If less than three of the flag information corresponding to the four surrounding pixels is 1, the following (Equation 8) is calculated to obtain the value of the interpolated pixel.
【００８４】[0084]
【数８】 (Equation 8)
【００８５】以上のアルゴリズムで計算された補間画素
は、画質改善画像記憶手段３４中の上記座標Ｓ（ｘ，
ｙ）に対応するアドレスに記録される。The interpolated pixel calculated by the above algorithm is stored in the above-mentioned coordinates S (x,
It is recorded at the address corresponding to y).
【００８６】また、画質改善画像手段３４に記憶された
画質改善画像は、光量補正手段３８により、イメージシ
フトで撮像された２枚の画像の光量差および補間により
生じた画質劣化が補正される。この光量縫製手段３８は
フィルタからなり、イメージシフト画像に対する補間処
理が終了してから、画質改善画像記憶手段３４より補間
後の画像を読み出し光量補正を施し、再び画質改善画像
記憶手段３４に記録する。The image quality improvement image stored in the image quality improvement image means 34 is corrected by the light quantity correction means 38 for the light quantity difference between the two images picked up by the image shift and the image quality deterioration caused by interpolation. The light quantity sewing means 38 is composed of a filter. After the interpolation processing for the image shift image is completed, the interpolated image is read out from the image quality improved image storage means 34, the light quantity is corrected, and recorded again in the image quality improved image storage means 34. .
【００８７】光量補正手段３８は、以下の（数９）式を
計算することによりことにより光量補正を実現する。こ
こで、Ｓ（ｘ，ｙ）は、上記イメージシフト補間手段３
７による補間処理後の補間画像であるとする。したがっ
て、水平（２×Ｘ）画素×垂直（２×Ｙ）画素の画像に
対する処理を行う。The light quantity correction means 38 realizes light quantity correction by calculating the following equation (9). Here, S (x, y) is the value of the image shift interpolation means 3
7 is an interpolated image after the interpolation processing. Therefore, processing is performed on an image of horizontal (2 × X) pixels × vertical (2 × Y) pixels.
【００８８】[0088]
【数９】 (Equation 9)
【００８９】以上のようにして、イメージシフト画像に
対しても、ノイズ除去による画質改善およびイメージシ
フト合成処理の演算量を削減することができる。この種
のイメージシフト合成処理の例としては、本出願人より
出願された特願平９−１７３８１７公報がある。As described above, even for an image-shifted image, it is possible to improve the image quality by removing noise and to reduce the amount of calculation for the image-shift synthesizing process. Japanese Patent Application No. 9-173817 filed by the present applicant is an example of this kind of image shift combination processing.
【００９０】以上説明した本実施の形態における画質改
善装置によれば、しきい値を求める際にヒストグラムを
使用しており、分散等の統計量を求めることに比べ乗除
算をほとんど使用しないため、計算量を少なくすること
ができる。また、ノイズレベルを求めそこからしきい値
を決定しているため、画像の撮像状況に応じたレベルの
ノイズ除去が可能となる。また、領域内に特異な画素
（例えば画像中に小さい黒点（または白点）がある場合
等）があった場合でも、その点のコントラストが低下す
る等の誤動作がない。また、イメージシフト補間処理で
の補間方法についてのフラグ情報を記憶しておくことに
より、計算量の多いイメージシフト補間処理の演算量を
削減することができるという効果がある。また、イメー
ジシフト撮像装置に適用するため、入力画像記憶手段３
１の記憶容量を本処理のためだけに増設する必要がない
という利点がある。According to the image quality improving apparatus of the present embodiment described above, a histogram is used for obtaining a threshold value, and multiplication / division is hardly used as compared with obtaining a statistic such as variance. The amount of calculation can be reduced. Further, since the noise level is obtained and the threshold value is determined therefrom, it is possible to remove the noise at a level according to the imaging state of the image. Further, even when there is a peculiar pixel (for example, when there is a small black point (or white point) in the image) in the area, there is no malfunction such as a decrease in the contrast at that point. Further, by storing flag information on an interpolation method in the image shift interpolation processing, there is an effect that the calculation amount of the image shift interpolation processing requiring a large amount of calculation can be reduced. Further, in order to apply the present invention to an image shift imaging apparatus, the input image storage means 3
There is an advantage that it is not necessary to add one storage capacity only for this processing.
【００９１】なお、本実施の形態では、ニアレストネイ
バー補間を補間画素の左の画素から行っているが、上・
下・右の画素から行ってもよい。In this embodiment, the nearest neighbor interpolation is performed from the pixel on the left of the interpolation pixel.
It may be performed from the lower and right pixels.
【００９２】また、本実施の形態ではモノクロ画像を対
象としているが、カラー画像を対象とした場合において
も、ＲＧＢそれぞれの画像に対して本発明の画質改善処
理を行えばよい。また、輝度・色差信号からなる画像情
報の場合についても同様である。Although the present embodiment is directed to a monochrome image, the image quality improvement processing of the present invention may be performed for each of RGB images even when a color image is targeted. The same applies to the case of image information consisting of luminance / color difference signals.
【００９３】また、本実施の形態では、イメージシフト
補間手段３７において実画素として存在していない画素
についてその周囲４画素に対応するフラグ情報を上記フ
ラグ情報記憶手段より読み出し、フラグ情報のうち３箇
所以上が１である場合はニアレストネイバー補間により
画素補間を行う構成としているが、フラグ情報のうち２
箇所以上が１である場合にニアレストネイバー補間を行
う構成としてもよい。Further, in this embodiment, the image shift interpolation means 37 reads flag information corresponding to four surrounding pixels from pixels not existing as actual pixels from the flag information storage means, If the above is 1, pixel interpolation is performed by nearest neighbor interpolation.
When the number of locations is 1 or more, the nearest neighbor interpolation may be performed.
【００９４】さらに、本実施の形態では、イメージシフ
トで得られた２枚の画像についての差画像を生成する構
成としているが、イメージシフトで得られる２枚の画像
それぞれに対して実施の形態２の手法を用いてノイズ除
去とフラグ情報の記憶を行い、イメージシフト合成を行
う構成にしても同様の効果を得ることができる。Further, in the present embodiment, the difference image is generated for the two images obtained by the image shift. However, the second embodiment is applied to each of the two images obtained by the image shift. The same effect can be obtained by performing the image shift synthesis by performing the noise removal and the storage of the flag information by using the technique of (1).
【００９５】なお、以上の実施の形態では、１つの画像
全体の画質を改善する場合について示したが、勿論画像
中の一部分（改善対象部分）のみの画質を改善しても良
い。In the above embodiment, the case where the image quality of one entire image is improved has been described. Of course, the image quality of only a part (improvement target portion) in the image may be improved.
【００９６】また、以上の実施の形態では、ノイズレベ
ル及びしきい値を算出したが、予め決められた所定値で
あっても構わない。In the above embodiment, the noise level and the threshold value are calculated, but may be predetermined values.
【００９７】さらに、以上の実施の形態では、最大値，
最小値，平均値に基づき画質を改善する例について述べ
たが、本実施の形態で示した算出方法により算出したノ
イズレベル（しきい値）を用いて、各画素の画素値の妥
当性を判断し（例えば、各画素の画素値のその近傍の画
素からの変化量がノイズに起因するものか否かを判断
し）、その結果に基づいて画質を改善するものであって
も良い。Further, in the above embodiment, the maximum value,
Although the example in which the image quality is improved based on the minimum value and the average value has been described, the validity of the pixel value of each pixel is determined using the noise level (threshold) calculated by the calculation method described in the present embodiment. (For example, it is determined whether or not the amount of change in the pixel value of each pixel from the neighboring pixels is caused by noise), and the image quality may be improved based on the result.
【００９８】また、以上の実施の形態で説明した本発明
の画質改善装置による画質改善方法は、画質改善プログ
ラムを用いてコンピュータを動作させることにより実行
されるものであってもよい。この画質改善プログラムは
例えばＣＤ−ＲＯＭや磁気テープ等の記録媒体に記録さ
れており、この記録媒体によってコンピュータに供給さ
れるものであってもよいし、また、通信モデムを介して
コンピュータに供給されるものであってもよい。The image quality improving method by the image quality improving apparatus of the present invention described in the above embodiment may be executed by operating a computer using an image quality improving program. This image quality improvement program is recorded on a recording medium such as a CD-ROM or a magnetic tape, and may be supplied to the computer by this recording medium, or may be supplied to the computer via a communication modem. May be used.
【００９９】[0099]
【発明の効果】請求項１に記載の発明では、最大値，最
小値及び平均値を求め、上記最大値と最小値の差としき
い値との比較結果に基づいて、画素値として上記平均値
を使用するかそのままの値を使用するかを決めるだけで
画質の改善を実現できる。つまり、非常に簡単な構成に
より画質の改善が可能である。According to the first aspect of the present invention, a maximum value, a minimum value, and an average value are obtained, and the average value is calculated as a pixel value based on a comparison result between the difference between the maximum value and the minimum value and a threshold value. The image quality can be improved simply by deciding whether or not to use the value. That is, the image quality can be improved with a very simple configuration.
【０１００】請求項２に記載の発明では、他の画像を用
いてノイズレベルを求め、そのノイズレベルによりしき
い値を決定する。そして、そのしきい値を使用して画質
改善を行うことにより、誤動作による画質劣化を防ぎ、
画像のノイズレベルに応じた高いノイズ除去効果を得る
ことができる。According to the second aspect of the present invention, a noise level is obtained by using another image, and a threshold value is determined based on the noise level. Then, by using the threshold value to improve the image quality, the image quality is prevented from deteriorating due to malfunction,
A high noise removal effect according to the noise level of the image can be obtained.
【０１０１】請求項３に記載の発明では、２枚の画像に
対する差画像のヒストグラムを利用することにより、少
ない計算量にて、空間的な撮像位置の差によるノイズレ
ベル検出誤差を少なくすることができる。According to the third aspect of the present invention, it is possible to reduce a noise level detection error due to a spatial imaging position difference with a small amount of calculation by using a histogram of a difference image for two images. it can.
【０１０２】請求項４に記載の発明では、１枚の画像か
ら画質を改善できる。また、１枚分の画像メモリのみ持
てばよいため、画像メモリを特別に追加をすることな
く、誤動作による画質劣化を防ぎ、画像のノイズレベル
に応じた高いノイズ除去効果を得ることが可能となる。According to the present invention, the image quality can be improved from one image. Further, since only one image memory is required, it is possible to prevent image quality deterioration due to malfunction and to obtain a high noise removal effect according to the noise level of the image without specially adding an image memory. .
【０１０３】請求項５に記載の発明では、同一の撮像装
置により短い時間間隔にて撮像された２枚の画像を使用
して画質改善を行うことにより、上記２枚の画像を空間
的にほぼ等しい位置で撮像された画像とみなすことがで
き、ノイズレベル検出の際の誤差を少なくすることがで
きる。According to the fifth aspect of the present invention, the image quality is improved by using two images picked up at a short time interval by the same image pickup device, so that the two images can be spatially substantially eliminated. The images can be regarded as images taken at the same position, and errors in noise level detection can be reduced.
【０１０４】請求項６に記載の発明では、イメージシフ
トで得られた２枚の画像を使用して画質改善を行うこと
により、イメージシフト撮像装置に対して画像メモリを
追加することなしに、誤動作による画質劣化を防ぎ、画
像のノイズレベルに応じた高いノイズ除去効果を得るこ
とが可能となる。According to the sixth aspect of the present invention, the image quality is improved by using two images obtained by the image shift, so that a malfunction occurs without adding an image memory to the image shift imaging apparatus. , It is possible to obtain a high noise removal effect according to the noise level of the image.
【０１０５】請求項７に記載の発明では、イメージシフ
トで得られた２枚の画像を使用して画像に含まれるノイ
ズレベルを求め、そのノイズレベルよりしきい値を決定
し、そのしきい値を使用して画質改善を行うことによ
り、イメージシフト撮像装置に対して画像メモリを追加
することなしに、誤動作による画質劣化を防ぎ、画像の
ノイズレベルに応じた高いノイズ除去効果を得ることが
できる。さらに、イメージシフト補間処理時の補間方法
を記憶しておくことにより画質を劣化すること無しにイ
メージシフト合成処理の演算量を減少することができ
る。According to the seventh aspect of the present invention, a noise level included in an image is obtained by using two images obtained by the image shift, and a threshold value is determined from the noise level. , Image quality can be prevented from deteriorating due to a malfunction without adding an image memory to the image shift imaging apparatus, and a high noise removal effect corresponding to the noise level of the image can be obtained. . Further, by storing the interpolation method at the time of the image shift interpolation processing, it is possible to reduce the calculation amount of the image shift synthesis processing without deteriorating the image quality.
【０１０６】請求項８に記載の発明では、画質を劣化す
ること無しにイメージシフト合成処理の演算量を大幅に
減少することができる。According to the eighth aspect of the present invention, it is possible to greatly reduce the calculation amount of the image shift combining process without deteriorating the image quality.
【０１０７】請求項９に記載の発明では、ノイズレベル
を２枚の画像より求め、そのノイズレベルに基づき、各
画素の画素値の妥当性を判断する。このため、誤動作に
よる画質劣化を防ぎ、画像のノイズレベルに応じた高い
ノイズ除去効果を得ることができる。According to the ninth aspect of the present invention, the noise level is obtained from two images, and the validity of the pixel value of each pixel is determined based on the noise level. For this reason, it is possible to prevent the image quality from being degraded due to a malfunction and to obtain a high noise removal effect corresponding to the noise level of the image.
【０１０８】請求項１０に記載の発明では、本発明の画
質改善装置の汎用性を向上させることができる。According to the tenth aspect, the versatility of the image quality improving apparatus of the present invention can be improved.
【図１】本発明の実施の形態１の構成を示すブロック図
である。FIG. 1 is a block diagram showing a configuration of a first embodiment of the present invention.
【図２】本発明の実施の形態２の構成を示すブロック図
である。FIG. 2 is a block diagram showing a configuration of a second embodiment of the present invention.
【図３】本発明の実施の形態３の構成を示すブロック図
である。FIG. 3 is a block diagram showing a configuration of a third embodiment of the present invention.
【図４】図１における領域情報抽出手段の説明図であ
る。FIG. 4 is an explanatory diagram of an area information extracting unit in FIG. 1;
【図５】図３におけるイメージシフト補間手段の説明図
である。FIG. 5 is an explanatory diagram of an image shift interpolation unit in FIG. 3;
１ 入力画像記憶手段 ２ 領域情報抽出手段 ３ 最小値算出手段 ４ 最大値算出手段 ５ 平均値算出手段 ６ ノイズレベル算出手段 ７ しきい値算出手段 ８ 画質改善手段 ９ 画質改善画像記憶手段 １０ 画像アドレス管理手段 DESCRIPTION OF SYMBOLS 1 Input image storage means 2 Area information extraction means 3 Minimum value calculation means 4 Maximum value calculation means 5 Average value calculation means 6 Noise level calculation means 7 Threshold value calculation means 8 Image quality improvement means 9 Image quality improvement image storage means 10 Image address management means
Claims (10)
も改善対象部分の画質を改善する画質改善装置であっ
て、 前記改善対象部分に存在する各画素に対して、該画素を
含む該画素の近傍の領域内の画素値の最大値、最小値及
び平均値を求める演算手段と、 前記改善対象部分に存在する各画素に対して、前記最大
値と前記最小値の差がノイズレベルに対応して決められ
たしきい値以下または該しきい値よりも小さい場合に画
素値を前記平均値に変換し、それ以外の場合に実際に入
力された画素値のままとする画質改善手段と、を有する
ことを特徴とする画質改善装置。1. An image quality improvement apparatus for improving the image quality of at least a portion to be improved of a first image including a plurality of pixels, wherein for each pixel present in the portion to be improved, Calculating means for calculating the maximum value, the minimum value, and the average value of the pixel values in the neighboring area; and for each pixel present in the portion to be improved, the difference between the maximum value and the minimum value corresponds to the noise level. Image quality improving means for converting a pixel value to the average value when the pixel value is equal to or less than or less than a predetermined threshold value, and otherwise maintaining the actually input pixel value. An image quality improvement device characterized by having:
て、 前記第１画像とは異なる第２画像を用いてノイズレベル
を検出し、該ノイズレベルに応じて前記しきい値を算出
するしきい値演算手段を有してなり、 該しきい値演算手段は、前記第１画像と第２画像の差を
とり差画像を生成する差画像生成手段と、前記差画像の
標準偏差を求めることにより画像中に含まれるノイズ成
分の標準偏差を求める標準偏差演算手段と、前記標準偏
差に基づきしきい値を求めるしきい値算出手段と、を有
することを特徴とする画質改善装置。2. The image quality improvement device according to claim 1, wherein a noise level is detected using a second image different from the first image, and the threshold value is calculated according to the noise level. Value calculating means, wherein the threshold value calculating means calculates a difference between the first image and the second image to generate a difference image, and obtains a standard deviation of the difference image. An image quality improving apparatus comprising: a standard deviation calculating means for calculating a standard deviation of a noise component included in an image; and a threshold calculating means for calculating a threshold based on the standard deviation.
て、 前記標準偏差演算手段は、 前記差画像のヒストグラムを生成するヒストグラム生成
手段と、 前記ヒストグラムのピーク値近傍の形状より画像中に含
まれるノイズ成分の標準偏差を求める標準偏差算出手段
と、を有することを特徴とする画質改善装置。3. The image quality improving device according to claim 2, wherein the standard deviation calculating means is included in the image based on a shape near a peak value of the histogram, the histogram generating means generating a histogram of the difference image. An image quality improving device, comprising: a standard deviation calculating means for calculating a standard deviation of a noise component.
善装置において、 前記第２画像は、前記第１画像をその画素ピッチの整数
倍だけずらした画像であることを特徴とする画質改善装
置。4. The image quality improving apparatus according to claim 2, wherein the second image is an image obtained by shifting the first image by an integral multiple of the pixel pitch. apparatus.
善装置において、 前記第２画像は、同一撮像装置により短い時間間隔で前
記第１画像とともに撮像された画像であることを特徴と
する画質改善装置。5. The image quality improving device according to claim 2, wherein the second image is an image captured together with the first image at a short time interval by the same image capturing device. Image quality improvement device.
善装置において、 前記第２画像は、イメージシフト動作によって前記第１
画像とともに得られた画像であり、 前記演算手段及び前記画質改善手段は、前記第２画像の
改善対象部分の画質をも改善することを特徴とする画質
改善装置。6. The image quality improving device according to claim 2, wherein the second image is converted to the first image by an image shift operation.
An image quality improvement apparatus, characterized in that the calculation means and the image quality improvement means also improve the image quality of a portion to be improved of the second image.
て、 前記画質改善手段にて出力される画素値が該当画素の画
素値または平均値のどちらの値を使用しているのかをフ
ラグ情報として記録するフラグ情報記憶手段と、 少なくとも画質改善後の前記第１画像及び前記第２画像
を合成することで１枚の画像を得る際に、前記第１画像
及び前記第２画像からは得られない虚画素を、前記フラ
グ情報を参照して補間する補間手段と、を有することを
特徴とする画質改善装置。7. The image quality improvement device according to claim 6, wherein the pixel value output by the image quality improvement means uses the pixel value of the corresponding pixel or the average value as flag information. A flag information storage unit for recording, and when obtaining one image by synthesizing at least the first image and the second image after the image quality is improved, cannot be obtained from the first image and the second image Interpolating means for interpolating an imaginary pixel with reference to the flag information.
て、 前記補間手段は、補間画素の周囲の画素の内、画素値と
して平均値を用いているものの個数が所定値以上の場合
に、前記補間の画素値をそれに隣接するいずれかの画素
の画素値とすることを特徴とする画質改善装置。8. The image quality improvement device according to claim 7, wherein the interpolation unit is configured to, when the number of pixels around the interpolation pixel using an average value as a pixel value is equal to or more than a predetermined value, An image quality improving apparatus characterized in that a pixel value of interpolation is a pixel value of any pixel adjacent thereto.
も改善対象部分の画質を改善する画質改善装置であっ
て、 前記第１画像とそれとは異なる第２画像の差をとり差画
像を生成する差画像生成手段と、 前記差画像の標準偏差を求めることにより画像中に含ま
れるノイズ成分の標準偏差を求める標準偏差演算手段
と、 前記標準偏差に基づきしきい値を求めるしきい値算出手
段と、を有し、 前記しきい値を用いて、前記改善対象部分に存在する各
画素の画素値の妥当性を判断し、該画素値を調整するこ
とを特徴とする画質改善装置。9. An image quality improvement device for improving the image quality of at least a portion to be improved of a first image including a plurality of pixels, wherein a difference image is generated by taking a difference between the first image and a second image different from the first image. Difference image generation means, standard deviation calculation means for obtaining a standard deviation of a noise component included in the image by obtaining the standard deviation of the difference image, and threshold value calculation means for obtaining a threshold value based on the standard deviation An image quality improvement apparatus comprising: determining validity of a pixel value of each pixel existing in the improvement target portion using the threshold value, and adjusting the pixel value.
とも改善対象部分の画質を改善する画質改善プログラム
を記憶した記録媒体であって、 前記画質改善プログラムは、コンピューターに、 前記改善対象部分に存在する各画素に対して、該画素を
含む該画素の近傍の領域内の画素値の最大値、最小値及
び平均値を求めさせ、 前記改善対象部分に存在する各画素に対して、前記最大
値と前記最小値の差がノイズレベルに対応して決められ
たしきい値以下または該しきい値よりも小さい場合に画
素値を前記平均値に変換させ、それ以外の場合に実際に
入力された画素値のままとさせることを特徴とする記録
媒体。10. A recording medium storing an image quality improvement program for improving an image quality of at least a portion to be improved of a first image including a plurality of pixels, wherein the image quality improvement program is stored in a computer. The maximum value, the minimum value, and the average value of the pixel values in the area near the pixel including the pixel are calculated for each pixel to be improved. The pixel value is converted to the average value when the difference between the minimum value and the minimum value is equal to or less than a threshold value determined according to the noise level, and otherwise, the pixel value is actually input. A recording medium wherein the pixel value is maintained.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35647797A JP3318248B2 (en) | 1997-12-25 | 1997-12-25 | Image quality improvement device and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35647797A JP3318248B2 (en) | 1997-12-25 | 1997-12-25 | Image quality improvement device and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11187288A true JPH11187288A (en) | 1999-07-09 |
| JP3318248B2 JP3318248B2 (en) | 2002-08-26 |
Family
ID=18449217
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35647797A Expired - Fee Related JP3318248B2 (en) | 1997-12-25 | 1997-12-25 | Image quality improvement device and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3318248B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100662908B1 (en) | 2004-10-14 | 2007-01-02 | 삼성전자주식회사 | Noise measurement apparatus for image signal and a method thereof |
| US8310546B2 (en) | 2008-10-09 | 2012-11-13 | Denso Corporation | Image processing apparatus adapted to recognize object in acquired image |
| US20210256273A1 (en) * | 2018-06-29 | 2021-08-19 | Great Wall Motor Company Limited | Ternary image obtaining method and apparatus, and vehicle |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4496106B2 (en) | 2005-02-28 | 2010-07-07 | 株式会社東芝 | Image processing apparatus and image processing method |
-
1997
- 1997-12-25 JP JP35647797A patent/JP3318248B2/en not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100662908B1 (en) | 2004-10-14 | 2007-01-02 | 삼성전자주식회사 | Noise measurement apparatus for image signal and a method thereof |
| US8310546B2 (en) | 2008-10-09 | 2012-11-13 | Denso Corporation | Image processing apparatus adapted to recognize object in acquired image |
| US20210256273A1 (en) * | 2018-06-29 | 2021-08-19 | Great Wall Motor Company Limited | Ternary image obtaining method and apparatus, and vehicle |
| US11861844B2 (en) * | 2018-06-29 | 2024-01-02 | Great Wall Motor Company Limited | Ternary image obtaining method and apparatus, and vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3318248B2 (en) | 2002-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101342806B1 (en) | Interpolation of panchromatic and color pixels | |
| US8311367B2 (en) | Image processing device | |
| US7149355B2 (en) | Image processing apparatus, image processing method, image processing program, and computer-readable record medium storing image processing program | |
| US7373020B2 (en) | Image processing apparatus and image processing program | |
| KR101134668B1 (en) | Image generation method, device, its program and recording medium with program recorded therein | |
| US20020126892A1 (en) | Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning Kernel | |
| US20100067818A1 (en) | System and method for high quality image and video upscaling | |
| JP3946866B2 (en) | Image signal processing apparatus and medium storing program | |
| CA2702163C (en) | Image generation method and apparatus, program therefor, and storage medium which stores the program | |
| US7612784B2 (en) | Image processor and method, computer program, and recording medium | |
| US20040105015A1 (en) | Image processing device and image processing program | |
| JP3862621B2 (en) | Image processing apparatus, image processing method, and program thereof | |
| JPS63266982A (en) | Interpolating method for picture signal and picture signal processor executing it | |
| JP3318248B2 (en) | Image quality improvement device and recording medium | |
| EP2421239B1 (en) | Image processing apparatus and method for applying film grain effects | |
| JP4084719B2 (en) | Image processing apparatus, image forming apparatus including the image processing apparatus, image processing method, image processing program, and computer-readable recording medium | |
| JP2003134523A (en) | Image pickup apparatus and method | |
| JPWO2006117844A1 (en) | Image processing apparatus, image processing method, and information terminal apparatus | |
| JPH11331858A (en) | Picture signal processor and medium recording program | |
| JP4631198B2 (en) | Image processing apparatus, image processing method, recording medium, and program | |
| JP2000149009A (en) | Image processor | |
| JP3054315B2 (en) | Image processing method and apparatus | |
| JP3054299B2 (en) | Image processing apparatus and method | |
| JP2022092871A (en) | Imaging device and control method of imaging device | |
| JP2004192164A (en) | Image processor, image forming device having the same, image processing method, image processing program and computer-readable recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |