JP3455123B2 - Image sharpness enhancement method and recording medium recording program for executing the processing - Google Patents
Image sharpness enhancement method and recording medium recording program for executing the processingInfo
- Publication number
- JP3455123B2 JP3455123B2 JP36638598A JP36638598A JP3455123B2 JP 3455123 B2 JP3455123 B2 JP 3455123B2 JP 36638598 A JP36638598 A JP 36638598A JP 36638598 A JP36638598 A JP 36638598A JP 3455123 B2 JP3455123 B2 JP 3455123B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- color
- signal
- original image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 44
- 238000000034 method Methods 0.000 title claims description 22
- 238000012935 Averaging Methods 0.000 claims description 49
- 239000000203 mixture Substances 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 13
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 239000000654 additive Substances 0.000 claims description 2
- 230000000996 additive effect Effects 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000012937 correction Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 239000007787 solid Substances 0.000 description 5
- 230000001965 increasing effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Description
【０００１】[0001]
【発明の属する技術分野】この発明は、画像の鮮鋭度強
調を行う技術に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique for enhancing the sharpness of an image.
【０００２】[0002]
【従来の技術】画像の鮮鋭度強調処理は、画像内のエッ
ジを強調して画像の鮮鋭度を高めるために行われる処理
である。図１０は、従来の鮮鋭度強調装置の回路構成を
示すブロック図である。この装置は、ボケ信号作成回路
９０と、減算器９２と、乗算器９４と、加算器９６と、
を備えている。2. Description of the Related Art An image sharpness enhancement process is a process performed to enhance an edge in an image to enhance the image sharpness. FIG. 10 is a block diagram showing a circuit configuration of a conventional sharpness enhancement device. This apparatus includes a blur signal generation circuit 90, a subtractor 92, a multiplier 94, an adder 96,
Is equipped with.
【０００３】図１１は、図１０の回路による鮮鋭度強調
処理の内容を示す説明図である。図１１（ａ）のような
黒白の原稿を矢印Ａの方向にスキャナで走査すると、図
１１（ｂ）のような原画像信号Ｓｔが得られる。この明
細書において、原画像信号Ｓｔは画像の濃度を表すもの
としており、黒ベタの部分ではダイナミックレンジの最
大値（８ビットの場合には２５５）を取り、白部分では
０レベルを取る。このとき、ダイナミックレンジの最大
値は濃度１００％に相当し、最小値は濃度０％に相当す
る。FIG. 11 is an explanatory diagram showing the contents of the sharpness enhancement processing by the circuit of FIG. When a black-and-white original as shown in FIG. 11A is scanned by the scanner in the direction of arrow A, an original image signal St as shown in FIG. 11B is obtained. In this specification, the original image signal St represents the density of an image, and the maximum value of the dynamic range (255 in the case of 8 bits) is taken in the solid black portion and the level is 0 in the white portion. At this time, the maximum value of the dynamic range corresponds to 100% density, and the minimum value corresponds to 0% density.
【０００４】ボケ信号作成回路９０は、平均化フィルタ
を用いて原画像信号Ｓｔを平均化することによって、図
１１（ｃ）に示すボケ信号Ｕ（「アンシャープ信号」と
も呼ばれる）を生成する。なお、実際の鮮鋭度強調処理
は、２次元の画像に関して行われるが、この明細書で
は、簡単のために、１次元の画像に関する処理を中心に
説明する。減算器９２は、原画像信号Ｓからボケ信号Ｕ
を減算することによって差分信号（Ｓ−Ｕ）を生成す
る。乗算器９４は、この差分信号（Ｓ−Ｕ）に係数ｋを
乗算して図１１（ｄ）に示すエッジ信号ｋ（Ｓ−Ｕ）を
生成する。加算器９６は、エッジ信号ｋ（Ｓ−Ｕ）に原
画像信号Ｓｔを加算することによって、図１１（ｅ）に
示すような強調済み画像信号Ｓｅを生成する。強調済み
画像信号Ｓｅでは、原画像信号Ｓｔの段差の部分が強調
されており、この結果、画像内のエッジが強調されて見
えることになる。The blur signal generating circuit 90 averages the original image signal St using an averaging filter to generate a blur signal U (also called an "unsharp signal") shown in FIG. 11 (c). Although the actual sharpness enhancement processing is performed on a two-dimensional image, in this specification, for simplicity, the processing on a one-dimensional image will be mainly described. The subtractor 92 converts the original image signal S from the blur signal U
A difference signal (S-U) is generated by subtracting. The multiplier 94 multiplies the difference signal (S−U) by the coefficient k to generate the edge signal k (S−U) shown in FIG. 11D. The adder 96 adds the original image signal St to the edge signal k (S−U) to generate an enhanced image signal Se as shown in FIG. 11 (e). In the emphasized image signal Se, the stepped portion of the original image signal St is emphasized, and as a result, the edges in the image appear to be emphasized.
【０００５】[0005]
【発明が解決しようとする課題】ところで、原画像内に
いわゆる粒状性に起因する濃度変化が存在すると、鮮鋭
度強調処理によって画質がかえって劣化してしまう場合
がある。粒状性とは、写真画像を引き伸ばしたときに、
肉眼では均一に見えた部分が不均一に見えるような性質
を意味する。仮に、フィルムに均一な露光を与えて現像
したとしても、そのフィルム上の画像の濃度をマイクロ
濃度計で測定すると、粒状性に起因する濃度変化が存在
することが知られている。By the way, if there is a density change due to so-called graininess in the original image, the image quality may be rather deteriorated by the sharpness enhancement processing. Graininess means that when a photographic image is stretched,
It means that the part that looks uniform to the naked eye looks uneven. It is known that even if the film is developed by being uniformly exposed to light, when the density of the image on the film is measured with a micro densitometer, there is a density change due to graininess.
【０００６】鮮鋭度強調処理では、原画像内の濃度変化
が強調されるので、強調したいエッジ部分に限らず、粒
状性に起因する濃度変化の部分も同時に強調されてしま
う。このような問題は、鮮鋭度強調処理の対象となる画
像が、カラーフィルム上に形成された写真画像をスキャ
ナで読取って得られたものであるときに顕著である。特
に、人物の肌色（やや赤みをおびた薄い黄色）の部分
は、視覚的に滑らかであることが好まれるので、肌色部
分の濃度変化が強調されると、画質が大きく損なわれて
しまうという問題がある。In the sharpness emphasizing process, since the density change in the original image is emphasized, not only the edge part to be emphasized but also the density change part due to the graininess is emphasized at the same time. Such a problem is remarkable when the image to be subjected to the sharpness enhancement processing is obtained by reading a photographic image formed on a color film with a scanner. In particular, it is preferable that the skin tone (slightly reddish pale yellow) of a person is visually smooth, so if the density change of the skin tone is emphasized, the image quality will be greatly impaired. There is.
【０００７】この発明は、従来技術における上述の課題
を解決するためになされたものであり、原画像内の肌色
の部分における濃度変化をあまり強調することなく、画
像全体の鮮鋭度を高めることのできる技術を提供するこ
とを目的とする。The present invention has been made to solve the above-mentioned problems in the prior art, and it is possible to enhance the sharpness of the entire image without emphasizing the density change in the skin color portion in the original image. The purpose is to provide technology that can.
【０００８】[0008]
【課題を解決するための手段およびその作用・効果】上
述の課題の少なくとも一部を解決するため、本発明で
は、まず、原画像信号を、処理対象画素を中心とした比
較的小さい領域で平均化することによって小領域平均化
信号を作成する。また、原画像信号を、処理対象画素を
中心とした比較的大きな領域で平均化することによって
ボケ信号を作成する。そして、処理対象画素に関する原
画像信号の色成分を調べることによって、処理対象画素
の色が所定の肌色範囲に属しているか否かを調べる。処
理対象画素の色が肌色範囲に属しているときには、原画
像信号の色成分に応じた合成比率を用いて原画像信号と
小領域平均化信号とを合成することによって修正画像信
号を生成する。一方、処理対象画素の色が肌色範囲に属
していないときには原画像信号をそのまま修正画像信号
として採用する。そして、修正画像信号とボケ信号とに
基づいて、鮮鋭度強調済み画像信号を生成する。In order to solve at least a part of the above-mentioned problems, in the present invention, first, an original image signal is averaged in a relatively small area centered on a pixel to be processed. To generate a small area averaged signal. A blur signal is created by averaging the original image signal in a relatively large area centered on the pixel to be processed. Then, by checking the color component of the original image signal relating to the processing target pixel, it is checked whether or not the color of the processing target pixel belongs to a predetermined skin color range. When the color of the pixel to be processed belongs to the skin color range, the corrected image signal is generated by synthesizing the original image signal and the small area averaging signal by using the synthesis ratio according to the color component of the original image signal. On the other hand, when the color of the pixel to be processed does not belong to the skin color range, the original image signal is directly used as the corrected image signal. Then, a sharpness-emphasized image signal is generated based on the corrected image signal and the blur signal.
【０００９】本発明では、以上のように、処理対象画素
の色が肌色範囲に属しているときには、原画像信号と小
領域平均化信号とを合成することによって修正画像信号
を生成し、この修正画像信号とボケ信号とに基づいて鮮
鋭度強調済み画像信号を生成するので、原画像信号をそ
のまま用いる場合に比べて鮮鋭度強調の効果が小さくな
る。一方、処理対象画素が肌色範囲に属していない場合
には、原画像信号をそのまま修正画像号として用いて鮮
鋭度強調済み画像信号を生成するので、肌色範囲以外の
色を有する画像部分に関しては、鮮鋭度強調の効果を大
きく保つことができる。従って、肌色の部分における濃
度変化をあまり強調することなく、画像全体の鮮鋭度を
高めることが可能である。According to the present invention, as described above, when the color of the pixel to be processed belongs to the skin color range, the corrected image signal is generated by synthesizing the original image signal and the small area averaging signal, and this correction is performed. Since the sharpness-enhanced image signal is generated based on the image signal and the blur signal, the effect of the sharpness enhancement is smaller than that in the case where the original image signal is used as it is. On the other hand, when the pixel to be processed does not belong to the skin color range, the original image signal is used as it is as a corrected image signal to generate a sharpness-enhanced image signal. The effect of sharpness enhancement can be largely maintained. Therefore, it is possible to increase the sharpness of the entire image without emphasizing the density change in the skin-colored portion.
【００１０】原画像信号の赤色成分Ｒが青色成分Ｂより
も大きく、かつ、原画像信号の赤色成分Ｒが緑色成分Ｇ
よりも大きいときに、処理対象画素の色が肌色範囲に属
していると判断するようにしてもよい。また、処理対象
画素の色が肌色範囲に属しているときに、赤色成分Ｒと
青色成分Ｂとの差分を算出し、この差分の値に応じて合
成比率を算出するようにしてもよい。The red component R of the original image signal is larger than the blue component B, and the red component R of the original image signal is the green component G.
It may be determined that the color of the pixel to be processed belongs to the skin color range when it is larger than the above. Further, when the color of the pixel to be processed belongs to the skin color range, the difference between the red component R and the blue component B may be calculated, and the synthesis ratio may be calculated according to the value of this difference.
【００１１】こうすれば、処理対象画素の色が肌色範囲
内にあるか否かを比較的簡単に、かつ、適切に決定でき
る。With this configuration, it can be relatively easily and appropriately determined whether or not the color of the pixel to be processed is within the skin color range.
【００１２】なお、合成比率は、上記差分が特定の値に
等しいときにピーク値を有するとともに、この差分が前
記特定の値から離れるに従って減少するように決定され
ていてもよい。このとき、原画像信号と小領域平均化信
号との合成は、合成比率がピーク値をとるときに、修正
画像信号が小領域平均化信号に等しくなるように行なわ
れる。The composition ratio may have a peak value when the difference is equal to a specific value, and may be determined so that the difference decreases as the distance from the specific value increases. At this time, the original image signal and the small area averaged signal are combined so that the corrected image signal becomes equal to the small area averaged signal when the combination ratio has a peak value.
【００１３】こうすれば、差分が特定の値に等しくなる
ような特定の画像部分において、原画像信号が小領域平
均化信号に等しくなるので、この特定の画像部分におけ
る鮮鋭度強調の効果を小さくすることができる。In this way, since the original image signal becomes equal to the small area averaging signal in the specific image portion where the difference becomes equal to the specific value, the effect of sharpness enhancement in this specific image portion is reduced. can do.
【００１４】なお、本発明の具体的な形態としては、方
法や装置、記録媒体などの種々の形態を取ることができ
る。As a concrete form of the present invention, various forms such as a method, an apparatus and a recording medium can be adopted.
【００１５】[0015]
【発明の実施の形態】Ａ．アパーチャサイズと粒状性と
の関係：以下、本発明の実施の形態を実施例に基づいて
説明する。以下ではまず、スキャナにおいてカラーフィ
ルムから原画像を読取る際のアパーチャのサイズと、粒
状性との関係について簡単に説明する。BEST MODE FOR CARRYING OUT THE INVENTION A. Relationship between aperture size and graininess: Embodiments of the present invention will be described below based on examples. Below, first, the relationship between the size of the aperture and the graininess when the original image is read from the color film by the scanner will be briefly described.
【００１６】画像の粒状性を示す指標としては、ＲＭＳ
粒状度が使用される。ＲＭＳ粒状度については、例え
ば、「写真用語辞典」（日本写真学会写真用語委員会
編、昭和６３年６月１日、写真工業出版発行）の第１頁
に説明されている。この文献によれば、ＲＭＳ粒状度と
は、均一露光を与えて現像したフィルムをマイクロ濃度
計で走査して多数点での濃度を測定し、その平均濃度値
からの各点の濃度の偏差を求め、その偏差の２乗の平均
値を算出し、さらに、その平均値の平方根を取ることに
よって得られたものである。従って、ＲＭＳ粒状度は、
フィルム上の濃度変動が大きいほど大きくなる。RMS is used as an index showing the graininess of an image.
Granularity is used. The RMS granularity is described, for example, on page 1 of "Photographic Dictionary" (edited by the Photographic Society of Japan, Photographic Term Committee, June 1, 1988, published by Photo Industry Co., Ltd.). According to this document, the RMS granularity means that the film developed by applying uniform exposure is scanned with a microdensitometer to measure the density at a large number of points, and the deviation of the density at each point from the average density value is determined. It is obtained by calculating the average value of the squares of the deviations, and then taking the square root of the average value. Therefore, the RMS granularity is
The greater the density variation on the film, the greater it becomes.
【００１７】ところで、濃度計は、そのアパーチャとほ
ぼ同じ大きさの画像領域における平均的な濃度を測定す
る装置である。従って、アパーチャが大きいと、測定さ
れる濃度の変動は少なくなり、反対に、アパーチャが小
さいと濃度の変動は大きくなる。そこで、ＲＭＳ粒状度
は、粒状性を示す一般的な指標として用いることができ
るように、所定のサイズ（直径４８ミクロン）のアパー
チャで濃度を測定したときの値として定義されている。Incidentally, the densitometer is a device for measuring an average density in an image area having substantially the same size as the aperture. Therefore, a large aperture results in less variation in the measured concentration, and conversely, a smaller aperture results in greater variation in the concentration. Therefore, the RMS granularity is defined as a value when the density is measured with an aperture having a predetermined size (diameter of 48 microns) so that it can be used as a general index indicating the granularity.
【００１８】上述のようなアパーチャサイズと粒状性と
の関係は、スキャナによってカラーフィルムから読取ら
れた画像の粒状性についても同様である。すなわち、ス
キャナのアパーチャサイズが小さいほど、読取られた画
像の粒状性（すなわち濃度変動）が顕著になる傾向にあ
る。ところで、スキャナのアパーチャサイズは、読取り
解像度に反比例する。例えば、読取り解像度が３５０ｄ
ｐｉのときには、アパーチャの一辺の大きさは２５４０
０［μｍ／インチ］／３５０[１／インチ]＝７２．６μ
ｍであり、読取り解像度が３５００ｄｐｉのときには、
アパーチャの一辺の大きさは７．２６μｍである。従っ
て、スキャナの解像度が高いほどアパーチャのサイズが
小さくなり、読取られた画像の粒状性は顕著になる。逆
に、スキャナの解像度が低いほどアパーチャのサイズが
大きくなり、読取られた画像の粒状性は緩和される。The above-described relationship between the aperture size and the graininess is the same for the graininess of the image read from the color film by the scanner. That is, the smaller the aperture size of the scanner, the more noticeable the granularity (that is, density fluctuation) of the read image. By the way, the aperture size of the scanner is inversely proportional to the reading resolution. For example, the reading resolution is 350d
When pi, the size of one side of the aperture is 2540
0 [μm / inch] / 350 [1 / inch] = 72.6 μ
m and the reading resolution is 3500 dpi,
The size of one side of the aperture is 7.26 μm. Therefore, the higher the resolution of the scanner, the smaller the aperture size, and the more granular the read image becomes. Conversely, the lower the resolution of the scanner, the larger the size of the aperture, and the less granular the read image.
【００１９】従来技術においても述べたように、粒状性
は、特に、肌色の画像部分において画質劣化として認識
されやすい。肌色の画像部分において粒状性を緩和する
ためには、肌色の画像部分において、アパーチャのサイ
ズを大きくすればよいことが解る。そこで、本実施例で
は、以下に説明するように、処理対象画素の色が所定の
肌色範囲内にあるときに、より大きなアパーチャサイズ
を用いて得られる信号と等価な画像信号を生成し、この
画像信号に対して鮮鋭度強調処理を実行している。As described in the prior art, the graininess is apt to be recognized as image quality deterioration, especially in a skin-colored image portion. It is understood that in order to reduce the graininess in the flesh-colored image portion, the aperture size may be increased in the flesh-colored image portion. Therefore, in the present embodiment, as described below, when the color of the pixel to be processed is within a predetermined skin color range, an image signal equivalent to a signal obtained using a larger aperture size is generated, Sharpness enhancement processing is performed on the image signal.
【００２０】Ｂ．装置の構成：図１は、本発明の実施例
としての画像処理装置の構成を示すブロック図である。
この画像処理装置は、ＣＰＵ２０と、ＲＯＭおよびＲＡ
Ｍを含むメインメモリ２２と、フレームメモリ２６と、
キーボード３０と、マウス３２と、表示装置３４と、ハ
ードディスク３６と、モデム３８と、これらの各要素を
接続するバス４０と、を備えるコンピュータである。な
お、図１では各種のインターフェイス回路は省略されて
いる。モデム３８は、図示しない通信回線を介してコン
ピュータネットワークに接続されている。コンピュータ
ネットワークの図示しないサーバは、通信回線を介して
コンピュータプログラムを画像処理装置に供給するプロ
グラム供給装置としての機能を有する。B. Apparatus Configuration: FIG. 1 is a block diagram showing the configuration of an image processing apparatus as an embodiment of the present invention.
This image processing apparatus includes a CPU 20, a ROM and an RA.
A main memory 22 including M, a frame memory 26,
It is a computer including a keyboard 30, a mouse 32, a display device 34, a hard disk 36, a modem 38, and a bus 40 connecting these elements. Note that various interface circuits are omitted in FIG. The modem 38 is connected to the computer network via a communication line (not shown). A server (not shown) of the computer network has a function as a program supply device that supplies a computer program to the image processing device via a communication line.
【００２１】メインメモリ２２には、鮮鋭度強調処理の
対象となる原画像を表す原画像データを記憶するための
原画像メモリ領域４２と、鮮鋭度強調済みの画像データ
を記憶するための鮮鋭度強調済み画像メモリ領域４８と
が確保されている。また、メインメモリ２２には、肌色
範囲検出部４４と、鮮鋭度強調処理部４６の機能をそれ
ぞれ実現するためのコンピュータプログラムが格納され
ている。The main memory 22 has an original image memory area 42 for storing original image data representing an original image to be sharpened and a sharpness for storing sharpened image data. The emphasized image memory area 48 is secured. Further, the main memory 22 stores computer programs for realizing the functions of the skin color range detection unit 44 and the sharpness enhancement processing unit 46, respectively.
【００２２】これらの肌色範囲検出部４４と鮮鋭度強調
処理部４６の機能を実現するコンピュータプログラム
は、フレキシブルディスクやＣＤ−ＲＯＭ等の、コンピ
ュータ読み取り可能な記録媒体に記録された形態で提供
される。コンピュータは、その記録媒体からコンピュー
タプログラムを読み取って内部記憶装置または外部記憶
装置に転送する。あるいは、通信経路を介してコンピュ
ータにコンピュータプログラムを供給するようにしても
よい。コンピュータプログラムの機能を実現する時に
は、内部記憶装置に格納されたコンピュータプログラム
がコンピュータのマイクロプロセッサによって実行され
る。また、記録媒体に記録されたコンピュータプログラ
ムをコンピュータが読み取って直接実行するようにして
もよい。The computer program for realizing the functions of the skin color range detecting section 44 and the sharpness enhancement processing section 46 is provided in a form recorded on a computer-readable recording medium such as a flexible disk or a CD-ROM. . The computer reads the computer program from the recording medium and transfers the computer program to an internal storage device or an external storage device. Alternatively, the computer program may be supplied to the computer via a communication path. When realizing the functions of the computer program, the computer program stored in the internal storage device is executed by the microprocessor of the computer. Further, the computer program recorded on the recording medium may be read by a computer and directly executed.
【００２３】この明細書において、コンピュータとは、
ハードウェア装置とオペレーションシステムとを含む概
念であり、オペレーションシステムの制御の下で動作す
るハードウェア装置を意味している。また、オペレーシ
ョンシステムが不要でアプリケーションプログラム単独
でハードウェア装置を動作させるような場合には、その
ハードウェア装置自体がコンピュータに相当する。ハー
ドウェア装置は、ＣＰＵ等のマイクロプロセッサと、記
録媒体に記録されたコンピュータプログラムを読み取る
ための手段とを少なくとも備えている。コンピュータプ
ログラムは、このようなコンピュータに、上述の各手段
の機能を実現させるプログラムコードを含んでいる。な
お、上述の機能の一部は、アプリケーションプログラム
でなく、オペレーションシステムによって実現されてい
ても良い。In this specification, the computer means
The concept includes a hardware device and an operating system, and means a hardware device that operates under the control of the operating system. Further, when the operating system is unnecessary and the hardware device is operated by the application program alone, the hardware device itself corresponds to the computer. The hardware device includes at least a microprocessor such as a CPU and a unit for reading a computer program recorded in a recording medium. The computer program includes a program code that causes such a computer to realize the functions of the above-described means. Note that some of the functions described above may be realized by the operating system instead of the application program.
【００２４】なお、この発明における「記録媒体」とし
ては、フレキシブルディスクやＣＤ−ＲＯＭ、光磁気デ
ィスク、ＩＣカード、ＲＯＭカートリッジ、パンチカー
ド、バーコードなどの符号が印刷された印刷物、コンピ
ュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）
および外部記憶装置等の、コンピュータが読取り可能な
種々の媒体を利用できる。The "recording medium" in the present invention includes a flexible disk, a CD-ROM, a magneto-optical disk, an IC card, a ROM cartridge, a punch card, a printed matter on which codes such as a bar code are printed, and an internal storage of a computer. Device (memory such as RAM and ROM)
Also, various computer-readable media such as external storage devices can be used.
【００２５】図２は、鮮鋭度強調処理に関係する構成要
素の等価回路を示す機能ブロック図である。鮮鋭度強調
処理部４６の機能は、小領域平均化信号生成部５０と、
大領域平均化信号生成部５２と、修正画像信号生成部５
４と、減算器５６と、乗算器５８と、加算器６０と、を
含む等価回路で表現できる。これらの各構成要素の機能
は、以下の処理に即して順次説明する。FIG. 2 is a functional block diagram showing an equivalent circuit of components related to the sharpness enhancement processing. The function of the sharpness enhancement processing unit 46 is that the small area averaged signal generation unit 50,
Large area averaging signal generator 52 and modified image signal generator 5
4 and a subtractor 56, a multiplier 58, and an adder 60. The function of each of these components will be sequentially described according to the following processing.
【００２６】Ｃ．鮮鋭度強調処理の内容：図３は、鮮鋭
度強調処理の手順を示すフローチャートである。なお、
本実施例では、ＲＧＢの各色成分毎に図３の処理がそれ
ぞれ実行されるが、以下の説明では、必要な場合を除い
て各色成分には言及していない。従って、以下の説明で
使用している各信号は、特に断らない限り、「信号の各
色成分」と読み替えて解釈されるべきものである。C. Contents of sharpness enhancement processing: FIG. 3 is a flowchart showing the procedure of the sharpness enhancement processing. In addition,
In the present embodiment, the processing of FIG. 3 is executed for each of the RGB color components, but the following description does not refer to each color component except when necessary. Therefore, each signal used in the following description should be interpreted as "each color component of the signal" unless otherwise specified.
【００２７】ステップＳ１では、原画像内の１つの画素
を処理対象画素として選択する。ステップＳ２では、小
領域平均化信号生成部５０（図２）が、処理対象画素を
中心とする比較的小さな領域内において原画像信号Ｓｔ
を平均化し、これによって小領域平均化信号Ｓｓを生成
する。In step S1, one pixel in the original image is selected as a pixel to be processed. In step S2, the small area averaged signal generation unit 50 (FIG. 2) causes the original image signal St to be generated within a relatively small area centered on the pixel to be processed.
Are averaged to generate a small area averaged signal Ss.
【００２８】図４（ａ）は、小領域平均化処理に用いら
れるフィルタの例を示す説明図である。この小領域平均
化フィルタは、処理対象画素Ｐｘの上下左右に存在する
４つの画素（いわゆる４近傍の画素）に、１／４の重み
がそれぞれ割り当てられたものである。小領域平均化信
号生成部５０は、この小領域平均化フィルタを用い、処
理対象画素の周辺の４つの画素の原画像信号Ｓｔにそれ
ぞれ１／４の重みを乗じ、これらを加算することによっ
て、小領域平均化信号Ｓｓを生成する。この小領域平均
化信号Ｓｓは、原画像信号Ｓｔに比べてより大きなアパ
ーチャサイズで画像を読取ったときに得られる画像信号
に相当する。FIG. 4A is an explanatory diagram showing an example of a filter used in the small area averaging process. In this small area averaging filter, a weight of ¼ is assigned to each of four pixels (so-called four neighboring pixels) located above, below, to the left and right of the processing target pixel Px. The small area averaging signal generation unit 50 uses this small area averaging filter to multiply the original image signals St of the four pixels around the pixel to be processed by a weight of ¼ and add them to obtain A small area averaged signal Ss is generated. The small area averaged signal Ss corresponds to an image signal obtained when an image is read with a larger aperture size than the original image signal St.
【００２９】ステップＳ３では、大領域平均化信号生成
部５２が、処理対象画素を中心とする比較的大きな領域
内において原画像信号Ｓｔを平均化することによって大
領域平均化信号Ｕを生成する。なお、この大領域平均化
信号Ｕは、従来のボケ信号（あるいはアンシャープ信
号）と同じものであり、以下では単に「ボケ信号Ｕ」と
呼ぶ。In step S3, the large area averaged signal generating section 52 generates a large area averaged signal U by averaging the original image signal St in a relatively large area centered on the pixel to be processed. The large area averaged signal U is the same as the conventional blur signal (or unsharp signal), and will be simply referred to as “blurred signal U” below.
【００３０】図４（ｂ）は、大領域平均化処理に用いら
れるフィルタの例を示している。この大領域平均化フィ
ルタは、処理対象画素Ｐｘの周辺の２４個の画素に１／
２４の重みが割り当てられたものである。大領域平均化
信号生成部５２は、この大領域平均化フィルタを用い、
処理対象画素の周辺の２４個の画素の原画像信号Ｓｔに
それぞれ１／２４の重みを乗じ、これらを加算すること
によって、ボケ信号Ｕを生成する。FIG. 4B shows an example of a filter used in the large area averaging process. This large area averaging filter has 1/24 pixels for 24 pixels around the pixel Px to be processed.
24 weights have been assigned. The large area averaging signal generator 52 uses this large area averaging filter,
The original image signal St of 24 pixels around the pixel to be processed is multiplied by a weight of 1/24, and these are added to generate the blur signal U.
【００３１】なお、小領域平均化フィルタおよび大領域
平均化フィルタとしては、図４（ａ），（ｂ）に示すも
の以外の種々のものを使用することが可能である。例え
ば、小領域平均化フィルタとしては、処理対象画素Ｐｘ
とその４近傍の画素とを含む５つの画素の平均を求める
ものを使用することも可能であり、また、処理対象画素
Ｐｘとその８近傍の画素とを含む９の画素の平均（すな
わち３×３画素領域の平均）を求めるものを使用しても
よい。さらに、大領域平均化フィルタとしては、処理対
象画素Ｐｘを含む５×５画素領域の平均を求めるものも
使用できる。As the small area averaging filter and the large area averaging filter, various ones other than those shown in FIGS. 4A and 4B can be used. For example, as the small area averaging filter, the processing target pixel Px
It is also possible to use the one that obtains the average of five pixels including the pixel of the processing target pixel Px and the pixels of its eight neighbors (that is, 3 ×). It is also possible to use the one that obtains the average of 3 pixel regions). Further, as the large area averaging filter, a filter that obtains the average of the 5 × 5 pixel area including the processing target pixel Px can be used.
【００３２】なお、小領域平均化フィルタは、大領域平
均化フィルタよりも小さいものが好ましいが、両者の平
均化領域を等しくすることも可能である。但し、両者の
平均化領域を等しくすると、小領域平均化信号Ｓｓとボ
ケ信号Ｕとが同じものとなるので、肌色に近い色を有す
る画像部分において鮮鋭度強調の効果がほとんど得られ
なくなる。この点についてはさらに後述する。The small area averaging filter is preferably smaller than the large area averaging filter, but it is possible to make both averaging areas equal. However, if both averaging areas are made equal, the small area averaging signal Ss and the blur signal U become the same, so that the effect of sharpness enhancement is hardly obtained in an image portion having a color close to skin color. This point will be described later.
【００３３】平均化フィルタの重みとしては、処理対象
画素Ｐｘに近いほど大きな重みを用いることも可能であ
る。すなわち、本明細書における「平均化」は、重み付
き平均も含む広い意味を有している。As the weight of the averaging filter, it is possible to use a larger weight as it is closer to the pixel Px to be processed. That is, the “averaging” in the present specification has a broad meaning including a weighted average.
【００３４】以上の説明からも解るように、図４
（ａ），（ｂ）に示す２つのフィルタは、小領域平均化
フィルタの平均化対象領域が、大領域フィルタの平均化
対象領域以下になるように設定されていればよく、各フ
ィルタ内の重みの値の分布は任意である。As can be seen from the above description, FIG.
The two filters shown in (a) and (b) may be set so that the averaging target area of the small area averaging filter is equal to or less than the averaging target area of the large area filter. The distribution of weight values is arbitrary.
【００３５】図３のステップＳ４では、肌色範囲検出部
４４が、処理対象画素の原画像信号Ｓｔの色成分に基づ
いて、処理対象画素の色が所定の肌色範囲内にあるか否
かを判断する。原画像信号Ｓｔは、加法混色の３原色に
相当する３つの色成分Ｒ，Ｇ，Ｂを含んでいる。このと
き、処理対象画素の色が所定の肌色範囲内にあるか否か
は、以下の判断基準（Ｃ１），（Ｃ２）に従って判断さ
れる。In step S4 of FIG. 3, the skin color range detection unit 44 determines whether or not the color of the pixel to be processed is within a predetermined skin color range based on the color component of the original image signal St of the pixel to be processed. To do. The original image signal St includes three color components R, G, B corresponding to the three additive primary colors. At this time, whether or not the color of the pixel to be processed is within a predetermined skin color range is determined according to the following determination criteria (C1) and (C2).
【００３６】 （Ｃ１）Ｒ＞Ｂ、かつ、Ｒ＞Ｇのとき：肌色範囲内 （Ｃ２）上記以外のとき：肌色範囲外[0036] (C1) When R> B and R> G: Within the skin color range (C2) Other than the above: outside the skin color range
【００３７】図５は、ＲＧＢ色立体における肌色範囲Ｆ
Ｒを示す説明図である。この肌色範囲ＦＲは、色立体の
原点Ｏ（Ｒ＝Ｇ＝Ｂ＝０の点）を頂点とする四角錐を構
成している。この四角錐の底面は、色立体の６つの面の
中で、赤色の純色を示す頂点Ｒmax と、白色を示す頂点
Ｗmax とを含む面である。この四角錐形状の肌色範囲Ｆ
Ｒは、上記判断基準（Ｃ１）を満たす範囲、すなわちＲ
＞Ｂ、かつ、Ｒ＞Ｇの範囲であることが理解できる。FIG. 5 shows the skin color range F in the RGB color solid.
It is explanatory drawing which shows R. The flesh color range FR forms a quadrangular pyramid having an apex at the origin O (point of R = G = B = 0) of the color solid. The bottom surface of the quadrangular pyramid is a surface including a vertex Rmax indicating a pure red color and a vertex Wmax indicating white among the six surfaces of the color solid. This quadrangular pyramid skin color range F
R is a range that satisfies the above determination criteria (C1), that is, R
It can be understood that the range is> B and R> G.
【００３８】処理対象画素の色成分が肌色範囲ＦＲ内あ
るときには、処理対象画素の色は赤または黄色系統の色
であり、黄色人種の肌色（やや赤みをおびた薄い黄色）
に比較的近い色である。なお、肌色範囲ＦＲの中には、
肌色とはかなり異なる色（例えば赤の純色）も含まれて
いるが、本明細書では上記判断基準（Ｃ１），（Ｃ２）
によって規定される範囲を「肌色範囲」と呼んでいる。When the color component of the pixel to be processed is within the flesh color range FR, the color of the pixel to be processed is a red or yellowish color, and the skin color of the yellow race (slightly reddish pale yellow).
The color is relatively close to. In addition, in the skin color range FR,
Although a color that is considerably different from the skin color (for example, a pure red color) is also included, in the present specification, the above judgment criteria (C1) and (C2) are included.
The range defined by is called "skin color range".
【００３９】図３のステップＳ５では、肌色範囲検出部
４４が、原画像信号Ｓｔの色成分に基づいて、原画像信
号Ｓｔと小領域平均化信号Ｓｓとの合成を行う際に使用
される合成比率ｐを決定する。図６は、合成比率ｐを示
すグラフである。図６の横軸は、処理対象画素の色が所
望の肌色に近いか否かを示す指標値Ｖを示している。こ
の指標値Ｖは、原画像信号Ｓｔの赤色成分Ｒと青色成分
Ｂの差分（Ｒ−Ｂ）である。合成比率ｐは、この指標値
Ｖが特定の基準値Ｗに等しいときにピーク値（１．０）
を取り、指標値Ｖが基準値Ｗから離れるに従って直線的
に減少する。具体的には、合成比率ｐは以下のように設
定される。In step S5 of FIG. 3, the combination used when the skin color range detecting section 44 combines the original image signal St and the small area averaging signal Ss based on the color components of the original image signal St. Determine the ratio p. FIG. 6 is a graph showing the composition ratio p. The horizontal axis of FIG. 6 indicates the index value V indicating whether or not the color of the pixel to be processed is close to the desired skin color. The index value V is the difference (RB) between the red component R and the blue component B of the original image signal St. The composite ratio p is a peak value (1.0) when this index value V is equal to a specific reference value W.
And the index value V linearly decreases as the index value V departs from the reference value W. Specifically, the composition ratio p is set as follows.
【００４０】 （１）処理対象画素の色が肌色範囲内のとき：ｐ＝０ （２）処理対象画素の色が肌色範囲外のとき： Ｖが０〜Ｗの範囲のとき：ｐ＝Ｖ／Ｗ， ＶがＷ〜２Ｗの範囲のとき：ｐ＝（２−Ｖ／Ｗ）， Ｖが０〜２Ｗの範囲外のとき：ｐ＝０[0040] (1) When the color of the pixel to be processed is within the skin color range: p = 0 (2) When the color of the pixel to be processed is outside the skin color range: When V is in the range of 0 to W: p = V / W, When V is in the range of W to 2W: p = (2-V / W), When V is outside the range of 0 to 2 W: p = 0
【００４１】なお、基準値Ｗは、所望の肌色における赤
色成分Ｒと青色成分Ｂの差分に等しく設定される。例え
ば、各色成分が８ビット（０〜２５５）で表現されると
きには、基準値Ｗは８０程度の値に設定することができ
る。The reference value W is set equal to the difference between the red color component R and the blue color component B in the desired skin color. For example, when each color component is represented by 8 bits (0 to 255), the reference value W can be set to a value of about 80.
【００４２】図７は、合成比率ｐの他の例を示すグラフ
である。図７では、合成比率ｐは、指標値Ｖが特定の基
準値Ｗに等しいときにピーク値（１．０）を取り、指標
値Ｖが基準値Ｗから離れるに従って単調に曲線的に減少
している。この例から解るように、合成比率ｐは、処理
対象画素の色が肌色に近いか否かを示すための指標値Ｖ
が、基準値Ｗに等しいときにピークとなり、基準値Ｗか
ら離れるに従って減少するように設定されていればよ
い。FIG. 7 is a graph showing another example of the composition ratio p. In FIG. 7, the composite ratio p takes a peak value (1.0) when the index value V is equal to the specific reference value W, and monotonously decreases in a curve as the index value V departs from the reference value W. There is. As can be seen from this example, the synthesis ratio p is an index value V for indicating whether the color of the pixel to be processed is close to the skin color.
However, it may be set so that it has a peak when it is equal to the reference value W, and decreases with increasing distance from the reference value W.
【００４３】図３のステップＳ６では、修正画像信号生
成部５４（図２）が、以下の（１）式に従って、合成比
率ｐを用いて原画像信号Ｓｔと小領域平均化信号Ｓｓと
を合成することによって、処理対象画素に関する修正画
像信号Ｓｍを生成する。In step S6 of FIG. 3, the modified image signal generator 54 (FIG. 2) synthesizes the original image signal St and the small area averaged signal Ss using the synthesis ratio p in accordance with the following equation (1). By doing so, the corrected image signal Sm relating to the pixel to be processed is generated.
【００４４】 Ｓｍ＝Ｓｓ×ｐ＋（１−ｐ）×Ｓｔ …（１）[0044] Sm = Ss × p + (1-p) × St (1)
【００４５】合成比率ｐが０と１のときには、修正画像
信号Ｓｍは、それぞれ以下の（２ａ）式、（２ｂ）式で
与えられる。
ｐ＝０のとき：Ｓｍ＝Ｓｔ …（２ａ）
ｐ＝１のとき：Ｓｍ＝Ｓｓ …（２ｂ）When the composition ratio p is 0 and 1, the corrected image signal Sm is given by the following equations (2a) and (2b), respectively. When p = 0: Sm = St (2a) When p = 1: Sm = Ss (2b)
【００４６】すなわち、修正画像信号Ｓｍは、合成比率
ｐが０のときには原画像信号Ｓｔに等しく、また、合成
比率ｐが１のときには小領域平均化信号Ｓｓに等しい。
前述したように、小領域平均化信号Ｓｓは、より大きな
アパーチャサイズで原画像を読取ったときに得られる画
像信号に相当する。また、図６に示したように、合成比
率ｐは、指標値Ｖが所望の肌色を示す基準値Ｗに等しい
ときに１となり、指標値Ｖが基準値Ｗから遠く離れると
０になる。従って、修正画像信号Ｓｍは、処理対象画素
の色が所望の肌色に近いときには、より大きなアパーチ
ャサイズで読取られた画像信号と等価な信号になり、一
方、処理対象画素の色が所望の肌色から遠く離れている
ときには、より小さなアパーチャサイズで読取られた画
像信号と等価な信号になる。That is, the corrected image signal Sm is equal to the original image signal St when the composition ratio p is 0, and is equal to the small area averaging signal Ss when the composition ratio p is 1.
As described above, the small area averaged signal Ss corresponds to the image signal obtained when the original image is read with a larger aperture size. Further, as shown in FIG. 6, the composition ratio p becomes 1 when the index value V is equal to the reference value W indicating the desired skin color, and becomes 0 when the index value V is far away from the reference value W. Therefore, the corrected image signal Sm becomes a signal equivalent to an image signal read with a larger aperture size when the color of the pixel to be processed is close to the desired skin color, while the color of the pixel to be processed changes from the desired skin color. When it is far away, it becomes a signal equivalent to the image signal read with a smaller aperture size.
【００４７】図３のステップＳ７では、図２に示す減算
器５６と乗算器５８と加算器６０とが、修正画像信号Ｓ
ｍとボケ信号Ｕとに基づいて鮮鋭度強調済み画像信号Ｓ
ｅを生成する。この処理は、前述した図１１（ｄ），
（ｅ）に示された従来の処理と同じである。すなわち、
まず、減算器５６が修正画像信号Ｓｍからボケ信号Ｕを
減算することによって差分信号（Ｓｍ−Ｕ）を算出す
る。乗算器５８は、この差分信号（Ｓｍ−Ｕ）に係数ｋ
を乗算してエッジ信号ｋ（Ｓｍ−Ｕ）を生成する。加算
器６０は、このエッジ信号ｋ（Ｓｍ−Ｕ）に修正画像信
号Ｓｍを加算することによって、強調済み画像信号Ｓｅ
を生成する。In step S7 of FIG. 3, the subtractor 56, the multiplier 58, and the adder 60 shown in FIG.
sharpness enhanced image signal S based on m and the blur signal U
generate e. This process is performed by referring to FIG.
This is the same as the conventional processing shown in (e). That is,
First, the subtractor 56 subtracts the blur signal U from the corrected image signal Sm to calculate the difference signal (Sm-U). The multiplier 58 adds a coefficient k to this difference signal (Sm-U).
To generate an edge signal k (Sm-U). The adder 60 adds the modified image signal Sm to the edge signal k (Sm-U) to obtain the emphasized image signal Se.
To generate.
【００４８】なお、上記（２ａ），（２ｂ）式を用いる
と、合成比率ｐが０と１のときの鮮鋭度強調済み画像信
号Ｓｅの値は、それぞれ（３ａ），（３ｂ）式で与えら
れる。When the above equations (2a) and (2b) are used, the values of the sharpness-emphasized image signal Se when the composition ratio p is 0 and 1 are given by the equations (3a) and (3b), respectively. To be
【００４９】 ｐ＝０のとき：Ｓｅ＝Ｓｔ＋ｋ（Ｓｔ−Ｕ） …（３ａ） ｐ＝１のとき：Ｓｅ＝Ｓｓ＋ｋ（Ｓｓ−Ｕ） …（３ｂ）[0049] When p = 0: Se = St + k (St-U) (3a) When p = 1: Se = Ss + k (Ss-U) (3b)
【００５０】すなわち、鮮鋭度強調済み画像信号Ｓｅ
は、合成比率ｐが０のときには原画像信号Ｓｔに対して
鮮鋭度強調処理を行って得られる信号と等しくなり、一
方、合成比率ｐが１のときには小領域平均化信号Ｓｓに
対して鮮鋭度強調処理を行って得られる信号と等しくな
る。従って、合成比率ｐが０に近いほど鮮鋭度強調の効
果が大きく、合成比率ｐが１に近づくほど鮮鋭度強調の
効果が小さくなる傾向にある。That is, the sharpness-enhanced image signal Se
Is equal to the signal obtained by performing the sharpness enhancement processing on the original image signal St when the synthesis ratio p is 0, while on the other hand, when the synthesis ratio p is 1, the sharpness with respect to the small area averaged signal Ss is obtained. It becomes equal to the signal obtained by performing the emphasis process. Therefore, as the composition ratio p approaches 0, the effect of sharpness enhancement tends to increase, and as the composition ratio p approaches 1, the effect of sharpness enhancement tends to decrease.
【００５１】なお、小領域平均化フィルタと大領域平均
化フィルタの大きさ（「平均化領域」も呼ぶ）を等しく
すると、小領域平均化信号Ｓｓとボケ信号Ｕとが同じも
のとなる。従って、肌色に近い色を有する画像部分で
は、上記（３ｂ）式の右辺第２項がほぼ０になり、鮮鋭
度強調の効果がほとんど得られなくなる。このような場
合を許容するときには、小領域平均化フィルタの平均化
対象領域は、大領域フィルタの平均化対象領域以下にな
るように設定されていれば良い。一方、肌色に近い色を
有する画像部分でも、ある程度の鮮鋭度強調効果を得た
いときには、小領域平均化フィルタの平均化対象領域
を、大領域フィルタの平均化対象領域よりも小さく設定
すればよい。When the small area averaging filter and the large area averaging filter have the same size (also called "averaging area"), the small area averaging signal Ss and the blur signal U are the same. Therefore, in the image portion having a color close to the flesh color, the second term on the right side of the equation (3b) becomes almost 0, and the effect of sharpness enhancement is hardly obtained. To allow such a case, the averaging target area of the small area averaging filter may be set to be equal to or less than the averaging target area of the large area filter. On the other hand, when it is desired to obtain a certain degree of sharpness enhancement effect even in an image portion having a color close to skin color, the averaging target area of the small area averaging filter may be set smaller than the averaging target area of the large area filter. .
【００５２】人物の画像に鮮鋭度強調を行う場合には、
肌色の部分では鮮鋭度強調の効果を小さくすることが好
ましいのに対して、唇（口紅）の部分では鮮鋭度強調の
効果を大きくして、くっきりとした画像を得ることが好
ましい。ところで、唇（口紅）の色は、マゼンタＭに近
い色であることが多いことが知られている。図５からも
理解できるように、マゼンタＭでは赤色成分Ｒと青色成
分Ｂとが等しいので、マゼンタＭに近い色では、上記の
差分Ｖ（＝Ｒ−Ｂ）がほぼ０になる。この結果、合成比
率ｐもほぼ０になるので、マゼンタに近い色の画像部分
では、上記（３ｂ）から原画像信号Ｓｔをそのまま用い
て鮮鋭度強調処理が実行されることが解る。このよう
に、本実施例では、赤色成分Ｒと青色成分Ｂとの差分に
応じて合成比率ｐを決定しているので、肌色の画像部分
では鮮鋭度強調効果を小さくし、一方、マゼンタに近い
色の画像部分では鮮鋭度強調効果を大きくすることがで
きる。When sharpness enhancement is performed on a person image,
While it is preferable to reduce the effect of sharpness enhancement in the flesh-colored portion, it is preferable to increase the effect of sharpness enhancement in the lip (lipstick) portion to obtain a clear image. By the way, it is known that the color of the lips (lipstick) is often close to magenta M. As can be understood from FIG. 5, since the red component R and the blue component B are the same in magenta M, the above-mentioned difference V (= RB) becomes almost 0 in the color close to magenta M. As a result, since the composition ratio p also becomes almost 0, it can be understood that the sharpness enhancement processing is executed using the original image signal St as it is from the above (3b) in the image portion of the color close to magenta. As described above, in this embodiment, since the composition ratio p is determined according to the difference between the red component R and the blue component B, the sharpness enhancement effect is reduced in the flesh-colored image portion, while it is close to magenta. The sharpness enhancement effect can be increased in the color image portion.
【００５３】このように、本実施例では、処理対象画素
の色が所望の肌色に近いときには、比較的大きなアパー
チャを用いて得られたものと等価な画像信号を用いて鮮
鋭度強調処理を行うので、肌色の画像部分の粒状性を悪
化させることがないという効果がある。また、処理対象
画素の色が所望の肌色から遠く離れているときには、比
較的小さなアパーチャを用いて得られたものと等価な画
像信号を用いて鮮鋭度強調処理を行うので、その画像部
分の鮮鋭度を高めることができるという効果がある。As described above, in the present embodiment, when the color of the pixel to be processed is close to the desired flesh color, the sharpness enhancement processing is performed using an image signal equivalent to that obtained using a relatively large aperture. Therefore, there is an effect that the graininess of the flesh-colored image portion is not deteriorated. Also, when the color of the pixel to be processed is far from the desired skin color, the sharpness enhancement processing is performed using an image signal equivalent to that obtained using a relatively small aperture. The effect is that the degree can be increased.
【００５４】なお、この発明は上記の実施例や実施形態
に限られるものではなく、その要旨を逸脱しない範囲に
おいて種々の態様において実施することが可能であり、
例えば次のような変形も可能である。The present invention is not limited to the above examples and embodiments, but can be implemented in various modes without departing from the scope of the invention.
For example, the following modifications are possible.
【００５５】（１）処理対象画像の色が肌色範囲内にあ
るか否かの判断方法としては、上記実施例の方法以外の
ものを使用することができる。例えば、処理対象画素の
赤色成分Ｒと青色成分Ｂとの差分（Ｒ−Ｂ）が所定の第
１の範囲内にあり、かつ、赤色成分Ｒと緑色成分Ｇとの
差分（Ｒ−Ｇ）が所定の第２の範囲内にあるときに、処
理対象画像の色が肌色範囲内にあるものと判断すること
も可能である。(1) As a method of determining whether or not the color of the image to be processed is within the skin color range, a method other than the method of the above embodiment can be used. For example, the difference (RB) between the red component R and the blue component B of the pixel to be processed is within a predetermined first range, and the difference (RG) between the red component R and the green component G is It is also possible to determine that the color of the image to be processed is within the skin color range when it is within the predetermined second range.
【００５６】（２）上記実施例では、処理対象画素の赤
色成分Ｒと青色成分Ｂとの差分Ｖ（＝Ｒ−Ｂ）の値に応
じて合成比率ｐを決定していたが、合成比率ｐを、緑色
成分Ｂに依存して決定するようにしてもよい。すなわ
ち、一般には、合成比率ｐは、処理対象画素の原画像信
号の色成分に応じて決定されていればよい。(2) In the above embodiment, the composition ratio p is determined according to the value of the difference V (= RB) between the red component R and the blue component B of the pixel to be processed. May be determined depending on the green color component B. That is, generally, the composition ratio p may be determined according to the color component of the original image signal of the pixel to be processed.
【００５７】（３）鮮鋭度強調済み画像信号Ｓｅは、修
正画像信号Ｓｍとボケ信号Ｕとに基づいて作成されてい
ればよく、その具体的な処理としては以下に示すような
種々のものを利用可能である。例えば、原画像信号のＲ
ＧＢ成分からグレー成分Ｓｇを求め、このグレー成分Ｓ
ｇに関して図３のステップＳ２〜Ｓ６の処理を実行して
修正画像信号Ｓｇｍを算出し、この修正画像信号Ｓｇｍ
から得られたエッジ信号ｋ（Ｓｇｍ−Ｕ）を３つの色成
分にそれぞれ加算するようにしてもよい。(3) The sharpness-enhanced image signal Se only needs to be created on the basis of the corrected image signal Sm and the blur signal U, and its concrete processing is as follows. It is available. For example, R of the original image signal
The gray component Sg is obtained from the GB component, and the gray component Sg
3 is executed, the correction image signal Sgm is calculated by executing the processing of steps S2 to S6 in FIG. 3, and the correction image signal Sgm is calculated.
The edge signal k (Sgm-U) obtained from the above may be added to each of the three color components.
【００５８】また、図２に示す乗算器５８と加算器６０
との間に、エッジ信号ｋ（Ｓｍ−Ｕ）を補正するための
エッジ補正部を追加するようにしてもよい。図８は、エ
ッジ補正部６２を備えた鮮鋭度強調処理部４６’の構成
を示している。エッジ補正部６２は、図９に示すエッジ
補正関数を用いてエッジ信号ｋ（Ｓｍ−Ｕ）を補正す
る。この補正関数は、０レベル付近に不感帯を有してお
り、不感帯以外のレベルでは、出力信号のレベルが入力
信号のレベルに応じて直線的に変化する。この結果、エ
ッジ補正部６２は、入力信号からその不感帯部分を削除
するとともに、不感帯を超える信号レベルを一定の幅で
低下させたような波形を有する出力信号を生成する。な
お、不感帯は、０レベル付近に存在する画像のノイズを
強調しないようにすることによって、画像の粒状性を緩
和する効果がある。すなわち、不感帯の幅を広くするほ
ど画像の粒状性をより緩和することができる。Further, the multiplier 58 and the adder 60 shown in FIG.
An edge correction unit for correcting the edge signal k (Sm-U) may be added between and. FIG. 8 shows the configuration of the sharpness enhancement processing unit 46 ′ including the edge correction unit 62. The edge correction unit 62 corrects the edge signal k (Sm-U) using the edge correction function shown in FIG. This correction function has a dead zone near the 0 level, and at levels other than the dead zone, the level of the output signal changes linearly according to the level of the input signal. As a result, the edge correction section 62 deletes the dead zone part from the input signal and generates an output signal having a waveform in which the signal level exceeding the dead zone is lowered by a constant width. The dead zone has an effect of mitigating the graininess of the image by not enhancing the noise of the image existing near the 0 level. That is, the wider the dead zone, the more the graininess of the image can be reduced.
【図１】本発明の実施例としての画像処理装置の構成を
示すブロック図。FIG. 1 is a block diagram showing the configuration of an image processing apparatus as an embodiment of the present invention.
【図２】鮮鋭度強調処理に関係する構成要素の等価回路
を示す機能ブロック図。FIG. 2 is a functional block diagram showing an equivalent circuit of components related to sharpness enhancement processing.
【図３】鮮鋭度強調処理の手順を示すフローチャート。FIG. 3 is a flowchart showing a procedure of sharpness enhancement processing.
【図４】平均化処理に用いられるフィルタの例を示す説
明図。FIG. 4 is an explanatory diagram showing an example of a filter used for averaging processing.
【図５】ＲＧＢ色立体における肌色範囲ＦＲを示す説明
図。FIG. 5 is an explanatory diagram showing a skin color range FR in an RGB color solid.
【図６】合成比率ｐを示すグラフ。FIG. 6 is a graph showing a composition ratio p.
【図７】合成比率ｐの他の例を示すグラフ。FIG. 7 is a graph showing another example of the composition ratio p.
【図８】鮮鋭度強調処理部の変形例を示すブロック図。FIG. 8 is a block diagram showing a modified example of a sharpness enhancement processing unit.
【図９】エッジ補正関数を示す説明図。FIG. 9 is an explanatory diagram showing an edge correction function.
【図１０】従来の鮮鋭度強調装置の回路構成を示すブロ
ック図。FIG. 10 is a block diagram showing a circuit configuration of a conventional sharpness enhancement device.
【図１１】鮮鋭度強調処理の内容を示す説明図。FIG. 11 is an explanatory diagram showing the contents of sharpness enhancement processing.
２０…ＣＰＵ ２２…メインメモリ ２６…フレームメモリ ３０…キーボード ３２…マウス ３４…表示装置 ３６…ハードディスク ３８…モデム ４０…バス ４２…原画像メモリ領域 ４４…肌色範囲検出部 ４６…鮮鋭度強調処理部 ４８…鮮鋭度強調済み画像メモリ領域 ５０…小領域平均化信号生成部 ５２…大領域平均化信号生成部（ボケ信号生成部） ５４…修正画像信号生成部 ５６…減算器 ５８…乗算器 ６０…加算器 ６２…エッジ補正部 ９０…ボケ信号作成回路 ９２…減算器 ９４…乗算器 ９６…加算器 20 ... CPU 22 ... Main memory 26 ... Frame memory 30 ... Keyboard 32 ... Mouse 34 ... Display device 36 ... Hard disk 38 ... Modem 40 ... bus 42 ... Original image memory area 44 ... Skin color range detector 46 ... Sharpness enhancement processing section 48 ... Image memory area with sharpness enhancement 50 ... Small area averaged signal generation unit 52 ... Large area averaged signal generation unit (blurred signal generation unit) 54 ... Modified image signal generator 56 ... Subtractor 58 ... Multiplier 60 ... Adder 62 ... Edge correction unit 90 ... Blurring signal creation circuit 92 ... Subtractor 94 ... Multiplier 96 ... Adder
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平11−317863（ＪＰ，Ａ) 特開 平９−22460（ＪＰ，Ａ) 特開 平６−276399（ＪＰ，Ａ) 特開 平３−182189（ＪＰ，Ａ) 特開 平１−176560（ＪＰ，Ａ) 特表 平３−502975（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 1/40 - 1/409 H04N 1/46 - 1/48 H04N 1/60 ─────────────────────────────────────────────────── ─── Continuation of the front page (56) Reference JP-A-11-317863 (JP, A) JP-A-9-22460 (JP, A) JP-A-6-276399 (JP, A) JP-A-3- 182189 (JP, A) JP-A-1-176560 (JP, A) Special table 3-502975 (JP, A) (58) Fields investigated (Int.Cl. 7 , DB name) H04N 1/40-1 / 409 H04N 1/46-1/48 H04N 1/60
Claims (4)
って、（ａ）原画像信号を、処理対象画素を中心とした
比較的小さい領域で平均化することによって小領域平均
化信号を作成する工程と、（ｂ）原画像信号を、処理対
象画素を中心とした比較的大きな領域で平均化すること
によってボケ信号を作成する工程と、（ｃ）前記処理対
象画素に関する原画像信号の色成分を調べることによっ
て、前記処理対象画素の色が所定の肌色範囲に属してい
るか否かを調べる工程と、（ｄ）前記処理対象画素の色
が前記肌色範囲に属しているときには、前記原画像信号
の色成分に応じた合成比率を用いて前記原画像信号と前
記小領域平均化信号とを合成することによって修正画像
信号を生成するとともに、前記処理対象画素の色が前記
肌色範囲に属していないときには前記原画像信号をその
まま修正画像信号として採用する工程と、（ｆ）前記修
正画像信号と前記ボケ信号とに基づいて、鮮鋭度強調済
み画像信号を生成する工程と、を備えることを特徴とす
る鮮鋭度強調方法。1. A method for enhancing the sharpness of a color image, comprising: (a) averaging an original image signal in a relatively small area centered on a pixel to be processed to create a small area averaged signal. And (b) creating a blur signal by averaging the original image signal in a relatively large area centered on the pixel to be processed, and (c) the color of the original image signal with respect to the pixel to be processed. Checking the component to see if the color of the pixel to be processed belongs to a predetermined skin color range; and (d) if the color of the pixel to be processed belongs to the skin color range, the original image A corrected image signal is generated by synthesizing the original image signal and the small area averaging signal using a synthesizing ratio corresponding to a color component of the signal, and the color of the processing target pixel belongs to the flesh color range. When not present, the method comprises the steps of directly adopting the original image signal as a corrected image signal, and (f) generating a sharpness enhanced image signal based on the corrected image signal and the blur signal. And sharpness enhancement method.
て、 前記原画像信号は、加法混色の３原色に対応する赤色成
分Ｒと緑色成分Ｇと青色成分Ｂとを含んでおり、 前記工程（ｃ）は、前記原画像信号の赤色成分Ｒが青色
成分Ｂよりも大きく、かつ、前記原画像信号の赤色成分
Ｒが緑色成分Ｇよりも大きいときに、前記処理対象画素
の色が前記肌色範囲に属していると判断する工程を含
み、 前記工程（ｄ）は、 前記処理対象画素の色が前記肌色範囲に属しているとき
に、前記赤色成分Ｒと前記青色成分Ｂとの差分を算出す
る工程と、 前記差分の値に応じて前記合成比率を算出する工程と、 を含む鮮鋭度強調方法。2. The sharpness enhancing method according to claim 1, wherein the original image signal includes a red component R, a green component G, and a blue component B corresponding to three primary colors of additive color mixture, In step (c), when the red color component R of the original image signal is larger than the blue color component B and the red color component R of the original image signal is larger than the green color component G, the color of the processing target pixel is The step (d) includes a step of determining that the red color component R and the blue color component B are different from each other when the color of the pixel to be processed belongs to the skin color range. A sharpness enhancement method comprising: a step of calculating; and a step of calculating the composition ratio according to the value of the difference.
て、 前記合成比率は、前記差分が特定の値に等しいときにピ
ーク値を有するとともに、前記差分が前記特定の値から
離れるに従って減少するように決定され、 前記原画像信号と前記小領域平均化信号との合成は、前
記合成比率がピーク値をとるときに、前記修正画像信号
が前記小領域平均化信号に等しくなるように行なわれ
る、鮮鋭度強調方法。3. The sharpness enhancement method according to claim 2, wherein the combination ratio has a peak value when the difference is equal to a specific value, and decreases as the difference deviates from the specific value. The combination of the original image signal and the small area averaged signal is performed so that the modified image signal becomes equal to the small area averaged signal when the combination ratio has a peak value. The sharpness enhancement method.
ンピュータプログラムを記録したコンピュータ読み取り
可能な記録媒体であって、 原画像信号を、処理対象画素を中心とした比較的小さい
領域で平均化することによって小領域平均化信号を作成
する小領域平均化機能と、 原画像信号を、処理対象画素を中心とした比較的大きな
領域で平均化することによってボケ信号を作成する大領
域平均化機能と、 前記処理対象画素に関する原画像信号の色成分を調べる
ことによって、前記処理対象画素の色が所定の肌色範囲
に属しているか否かを調べる肌色範囲検出機能と、 前記処理対象画素の色が前記肌色範囲に属しているとき
には、前記原画像信号の色成分に応じた合成比率を用い
て前記原画像信号と前記小領域平均化信号とを合成する
ことによって修正画像信号を生成するとともに、前記処
理対象画素の色が前記肌色範囲に属していないときには
前記原画像信号をそのまま修正画像信号として採用する
修正画像信号生成機能と、 前記修正画像信号と前記ボケ信号とに基づいて、鮮鋭度
強調済み画像信号を生成する強調機能と、をコンピュー
タに実現させるためのコンピュータプログラムを記録し
たコンピュータ読み取り可能な記録媒体。4. A computer-readable recording medium recording a computer program for emphasizing the sharpness of a color image, wherein an original image signal is averaged over a relatively small area centered on a pixel to be processed. Small area averaging function to create a small area averaging signal by this, and a large area averaging function to create a blur signal by averaging the original image signal in a relatively large area centered on the pixel to be processed. , A skin color range detection function for checking whether or not the color of the processing target pixel belongs to a predetermined skin color range by checking the color component of the original image signal relating to the processing target pixel, and the color of the processing target pixel is the When belonging to the flesh color range, the original image signal and the small area averaged signal are combined using a combining ratio according to the color component of the original image signal. Therefore, a corrected image signal is generated, and when the color of the pixel to be processed does not belong to the flesh color range, a corrected image signal generation function that directly adopts the original image signal as a corrected image signal, the corrected image signal and the blur A computer-readable recording medium recording a computer program for causing a computer to realize an enhancement function for generating a sharpness-enhanced image signal based on the signal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36638598A JP3455123B2 (en) | 1998-12-24 | 1998-12-24 | Image sharpness enhancement method and recording medium recording program for executing the processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36638598A JP3455123B2 (en) | 1998-12-24 | 1998-12-24 | Image sharpness enhancement method and recording medium recording program for executing the processing |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000196901A JP2000196901A (en) | 2000-07-14 |
| JP3455123B2 true JP3455123B2 (en) | 2003-10-14 |
Family
ID=18486655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36638598A Expired - Fee Related JP3455123B2 (en) | 1998-12-24 | 1998-12-24 | Image sharpness enhancement method and recording medium recording program for executing the processing |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3455123B2 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7050636B2 (en) * | 2001-12-07 | 2006-05-23 | Eastman Kodak Company | Method and system for improving an image characteristic based on image content |
| US7545976B2 (en) | 2002-05-01 | 2009-06-09 | Hewlett-Packard Development Company, L.P. | Method and apparatus for associating image enhancement with color |
| CN100458848C (en) * | 2003-03-20 | 2009-02-04 | 欧姆龙株式会社 | Image processing device |
| JP4461789B2 (en) | 2003-03-20 | 2010-05-12 | オムロン株式会社 | Image processing device |
| JP4147155B2 (en) * | 2003-07-18 | 2008-09-10 | キヤノン株式会社 | Image processing apparatus and method |
| JP2006011618A (en) * | 2004-06-23 | 2006-01-12 | Noritsu Koki Co Ltd | Photographic image processing method and its device |
| JP4496856B2 (en) * | 2004-06-23 | 2010-07-07 | ノーリツ鋼機株式会社 | Photographic image processing method and apparatus |
-
1998
- 1998-12-24 JP JP36638598A patent/JP3455123B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000196901A (en) | 2000-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4053185B2 (en) | Image processing method and apparatus | |
| JP4139760B2 (en) | Image processing method and apparatus, and image processing program | |
| US6667815B1 (en) | Method and apparatus for processing images | |
| JP4210577B2 (en) | Method for enhancing gradation and spatial characteristics of digital images using selective spatial filters | |
| US6252995B1 (en) | Method of and apparatus for enhancing image sharpness | |
| EP1139284B1 (en) | Method and apparatus for performing local color correction | |
| JPH0372778A (en) | Area identification system for picture processing unit | |
| JPH11250246A (en) | Image processing method and image processor | |
| JP2004129265A (en) | Method of enhancing tonal characteristic of digital image by using expansive tone scale function and compressive tone scale function | |
| JP2001113754A (en) | Apparatus and method for processing image | |
| JP4262151B2 (en) | Image processing method, image processing apparatus, computer program, and storage medium | |
| JP2002300402A (en) | Image processor, processing method and recording medium | |
| JP2020074501A (en) | Image processing apparatus, image processing method, and program | |
| JP2004129266A (en) | Method of enhancing tonal characteristic and color characteristic of digital image by using expansive tone scale function and compressive tone scale function | |
| JP3455123B2 (en) | Image sharpness enhancement method and recording medium recording program for executing the processing | |
| JP2006246200A (en) | Image processing device and method therefor | |
| JP2005141477A (en) | Image sharpening process and image processor implementing this process | |
| JP2906975B2 (en) | Color image processing method and apparatus | |
| JP4017312B2 (en) | Image processing method, image processing apparatus, and recording medium | |
| JP5157760B2 (en) | Photo image processing method, photo image processing program, and photo image processing apparatus | |
| JP2000333014A (en) | Image processing unit, image processing method, and computer-readable storage medium storing image processing procedure | |
| JP3137702B2 (en) | Image processing device | |
| JP4063971B2 (en) | Image processing method and apparatus | |
| JPH11284860A (en) | Image processing method, image processing unit and recording medium recording image processing program and read by computer | |
| JP2000175046A (en) | Image processing method and image processor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080725 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080725 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090725 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090725 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090725 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100725 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100725 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |