JP5586031B2 - Image processing system, image processing method, and image processing program - Google Patents
Image processing system, image processing method, and image processing program Download PDFInfo
- Publication number
- JP5586031B2 JP5586031B2 JP2012064483A JP2012064483A JP5586031B2 JP 5586031 B2 JP5586031 B2 JP 5586031B2 JP 2012064483 A JP2012064483 A JP 2012064483A JP 2012064483 A JP2012064483 A JP 2012064483A JP 5586031 B2 JP5586031 B2 JP 5586031B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- signal
- image signal
- correction coefficient
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 133
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000012937 correction Methods 0.000 claims description 115
- 238000006243 chemical reaction Methods 0.000 claims description 92
- 238000000034 method Methods 0.000 description 44
- 238000012546 transfer Methods 0.000 description 38
- 238000000354 decomposition reaction Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 25
- 238000000926 separation method Methods 0.000 description 22
- 238000001514 detection method Methods 0.000 description 20
- 239000000203 mixture Substances 0.000 description 19
- 230000015572 biosynthetic process Effects 0.000 description 18
- 238000003786 synthesis reaction Methods 0.000 description 18
- 238000001444 catalytic combustion detection Methods 0.000 description 15
- 238000001914 filtration Methods 0.000 description 13
- 238000000605 extraction Methods 0.000 description 9
- 238000007781 pre-processing Methods 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
本発明は、画像の各局所領域に対して階調変換を実施するための画像処理システム、画像処理方法および画像処理プログラムに関する。 The present invention relates to an image processing system, an image processing method, and an image processing program for performing gradation conversion on each local region of an image .
最近、デジタルスチルカメラおよびデジタルビデオカメラが、デジタル画像データを取り込むための一般的なデバイスとなってきた。これらのデバイスは画像処理システムを備え、このシステム中で取り込んだ画像に対して画像処理を実施する。このような基礎の下で、画像処理システム中において入力され処理される画像信号のビット幅（例えば１０〜１２ビット）は、一般に、画像処理システムからの最終的な出力信号のビット幅（例えば８ビット）よりも広く設定される。この設定は、デジタル信号処理を通した桁落ちによって引き起こされる画質劣化を防止するためのものである。この場合には、信号のビット幅を出力システムのビット幅に合致するように変換する必要がある。従来、このようなビット幅変換は、標準的なシーンに対する固定的な（スペースインバリアントな）階調特性を用いて実施されてきた。 Recently, digital still cameras and digital video cameras have become common devices for capturing digital image data. These devices include an image processing system, and perform image processing on images captured in the system. On this basis, the bit width (eg, 10 to 12 bits) of the image signal input and processed in the image processing system is generally the bit width (eg, 8) of the final output signal from the image processing system. Bit). This setting is for preventing image quality degradation caused by digit loss through digital signal processing. In this case, it is necessary to convert the bit width of the signal to match the bit width of the output system. Conventionally, such bit width conversion has been performed using fixed (space invariant) gradation characteristics for a standard scene.
提案された別の技術では、各シーンの階調特性を用いてビット幅変換が実施される。例えば、日本特許第３４６５２２６号には、テクスチャ情報に基づいて画像信号が領域に分割される方法が開示されており、分割された各領域に個別に階調変換が適用される。しかし、この方法は、テクスチャ分析および区分化のせいで、高い計算コストを必要とする。さらに、この方法は、空間的連続性を保存するとは考えられない（空間的に滑らかであるとは考えられない）。 In another proposed technique, bit width conversion is performed using the gradation characteristics of each scene. For example, Japanese Patent No. 3465226 discloses a method in which an image signal is divided into regions based on texture information, and gradation conversion is individually applied to each divided region. However, this method requires high computational costs due to texture analysis and segmentation. Furthermore, this method is not considered to preserve spatial continuity (it is not considered to be spatially smooth).
一方、画像処理システムが開示されている国際特許出願公開第ＷＯ０２／０８９０６０号には、局所ヒストグラム平坦化に基づく計算効率の高い方法が提案されている。しかし、この方法は、顔領域といったような幾つかの領域には適応可能ではなく、従ってわずかな改善しか示さない。 On the other hand, International Patent Application Publication No. WO 02/089060, which discloses an image processing system, proposes a method with high calculation efficiency based on local histogram flattening. However, this method is not adaptable to some areas, such as the face area, and therefore shows only a slight improvement.
本発明は、これらの事情に鑑みて考案されたものであり、本発明の目的は、階調変換を適切かつ効率的に実施することができる画像処理システム、画像処理方法および画像処理プログラムを提供することである。 The present invention has been devised in view of these circumstances, and an object of the present invention is to provide an image processing system, an image processing method, and an image processing program capable of appropriately and efficiently performing gradation conversion. It is to be.
本発明の一態様の画像処理システムは、画像信号に対する階調補正処理のための画像処理システムであって、前記画像信号に基づく信号を生成する信号生成手段と、特定領域を含む特定画像信号を前記画像信号から取得するための特定画像信号取得手段と、前記特定領域を含む前記特定画像信号の情報を用いて補正係数を取得し、前記補正係数は低周波数成分の寄与を高周波数成分の寄与よりも高くするものである、補正係数取得手段と、前記画像信号に基づく信号において前記特定画像信号に相当する領域に前記補正係数を用いて補正を行う補正係数処理手段と、前記補正係数処理手段により補正された信号に基づく信号と前記画像信号とを合成することにより、前記画像信号に対して階調変換処理を実行する階調変換手段と、を具備する。 An image processing system according to an aspect of the present invention is an image processing system for gradation correction processing on an image signal, and includes a signal generation unit that generates a signal based on the image signal, and a specific image signal including a specific region. A correction coefficient is acquired using specific image signal acquisition means for acquiring from the image signal and information of the specific image signal including the specific region, and the correction coefficient contributes a low-frequency component to a high-frequency component. is intended to be higher than, the correction coefficient acquiring unit, a correction coefficient processing means for performing correction using the correction coefficient in a region corresponding to the specific image signal in the signal based on the image signal, the correction coefficient processing unit Gradation conversion means for performing gradation conversion processing on the image signal by synthesizing the signal based on the signal corrected by the above and the image signal.
本発明の一態様の画像処理方法は、画像信号に対する階調補正処理のための画像処理方法であって、前記画像信号に基づく信号を生成する信号生成ステップと、定領域を含む特定画像信号を前記画像信号から取得するための特定画像信号取得ステップと、前記特定領域を含む前記特定画像信号の情報を用いて補正係数を取得し、前記補正係数は低周波数成分の寄与を高周波数成分の寄与よりも高くするものである、補正係数取得ステップと、前記画像信号に基づく信号において前記特定画像信号に相当する領域に前記補正係数を用いて補正を行う補正係数処理ステップと、前記補正係数処理ステップにより補正された信号に基づく信号と前記画像信号とを合成することにより、前記画像信号に対して階調変換処理を実行する階調変換ステップと、を含む。
本発明の一態様の画像処理プログラムは、画像信号に対する階調補正処理のための画像処理プログラムであって、前記画像信号に基づく信号を生成する信号生成ステップと、特定領域を含む特定画像信号を前記画像信号から取得するための特定画像信号取得ステップと、前記特定領域を含む前記特定画像信号の情報を用いて補正係数を取得し、前記補正係数は低周波数成分の寄与を高周波数成分の寄与よりも高くするものである、補正係数取得ステップと、前記画像信号に基づく信号において前記特定画像信号に相当する領域に前記補正係数を用いて補正を行う補正係数処理ステップと、前記補正係数処理ステップにより補正された信号に基づく信号と前記画像信号とを合成することにより、前記画像信号に対して階調変換処理を実行する階調変換ステップと、を含む。
An image processing method according to an aspect of the present invention is an image processing method for gradation correction processing for an image signal, and includes a signal generation step for generating a signal based on the image signal, and a specific image signal including a constant region. A specific image signal acquisition step for acquiring from the image signal, and a correction coefficient is acquired using information on the specific image signal including the specific region, and the correction coefficient contributes a low-frequency component to a high-frequency component. is intended to be higher than, the correction coefficient acquiring step, a correction coefficient processing step of performing a correction using the correction coefficient in a region corresponding to the specific image signal in the signal based on the image signal, the correction coefficient processing step A gradation conversion step of performing gradation conversion processing on the image signal by combining the image signal and the signal based on the signal corrected by , Including the.
An image processing program of one embodiment of the present invention is an image processing program for gradation correction processing for an image signal, and includes a signal generation step for generating a signal based on the image signal, and a specific image signal including a specific region. A specific image signal acquisition step for acquiring from the image signal, and a correction coefficient is acquired using information on the specific image signal including the specific region, and the correction coefficient contributes a low-frequency component to a high-frequency component. is intended to be higher than, the correction coefficient acquiring step, a correction coefficient processing step of performing a correction using the correction coefficient in a region corresponding to the specific image signal in the signal based on the image signal, the correction coefficient processing step By combining the signal based on the signal corrected in accordance with the image signal and the image signal, a gradation conversion process is performed on the image signal. Comprising a conversion step, the.
本発明によれば、階調変換を適切かつ効率的に実施することができる。 By the present invention lever, tone conversion can be appropriately and efficiently.
（第１の実施形態）
図１〜９に、本発明の第１の実施形態を示す。図１は、画像処理システムの構成を示すブロック図である。
(First embodiment)
1 to 9 show a first embodiment of the present invention. FIG. 1 is a block diagram showing the configuration of the image processing system.
図１に示すように、この画像処理システムは、被写体の画像を形成するためのレンズ系１００と、光を入れるための開口である絞り１０１と、レンズ系１００に含まれるフォーカスレンズを駆動するためのオートフォーカス（ＡＦ）モータ１０２と、レンズ系１００および絞り１０１によって形成された光学的な被写体像を電気的な画像信号に光電変換してアナログ信号を出力するための撮像素子を構成する電荷結合素子（ＣＣＤ）１０３と、ＣＣＤ１０３から出力されたアナログ画像信号の利得を増幅し、画像信号に対してアナログ／デジタル変換を実施してデジタル形式にするための前処理部１０４と、絞り１０１およびＣＣＤ１０３を制御するための測光値を計算するための測光評価部１０５と、画像信号からコントラスト情報を検出し、コントラスト情報を最大化するようにＡＦモータ１０２を制御するためのフォーカス検出部１０６と、前処理部１０４から出力されたデジタル画像信号を一時的に記憶するためのバッファ１０７と、各画素において欠落している色信号を補間するための周知の補間、ホワイトバランス、および色変換などの処理を画像信号に対して実施するための信号処理部１０８と、画像信号に対して階調変換を実施する階調変換手段としての働きをする階調変換部１０９と、階調変換のための補正係数を計算する補正係数計算手段としての働きをする補正係数計算部１１０と、補正係数計算部１１０からの補正係数に基づいて階調変換の補償を実施する補正処理手段としての働きをする補正係数処理部１１１と、画像信号を例えばメモリカードに記録、従って保存するために、階調変換部１０９によって処理された画像信号を出力するための出力部１１２と、電源投入スイッチ、シャッタボタン、および、撮像の際に種々のモード間で切り換えるのに用いられるインタフェースを含む、外部インタフェース（Ｉ／Ｆ）部１１４と、制御部１１３とを備え、制御部１１３は、前処理部１０４、測光評価部１０５、フォーカス検出部１０６、信号処理部１０８、階調変換部１０９、補正係数計算部１１０、補正係数処理部１１１、出力部１１２、および外部Ｉ／Ｆ部１１４と双方向に接続されていて、これら各部を含めた画像処理システム全体を包括的に制御するためのマイクロコンピュータを備えている。
As shown in FIG. 1, the image processing system drives a lens system 100 for forming an image of a subject, a
前述の構成において、ＣＣＤ１０３は、前処理部１０４、バッファ１０７、信号処理部１０８、および階調変換部１０９を介して、出力部１１２に接続されている。バッファ１０７は、測光評価部１０５およびフォーカス検出部１０６に接続されている。測光評価部１０５は、絞り１０１およびＣＣＤ１０３に接続されている。フォーカス検出部１０６は、ＡＦモータ１０２に接続されている。信号処理部１０８は、補正係数計算部１１０に接続されている。補正係数計算部１１０は、補正係数処理部１１１に接続されている。補正係数処理部１１１は、階調変換部１０９に接続されている。
In the above-described configuration, the
図１に示す画像処理システム中の信号の流れについて次に述べる。 Next, the flow of signals in the image processing system shown in FIG. 1 will be described.
この画像処理システムでは、ＩＳＯ感度、シャッタ速度、および絞り値などの撮像条件を、外部Ｉ／Ｆ部１１４を介して設定することができる。これらの設定が行われた後に、シャッタボタンを半押しすることによってプリ撮影モードが設定される。次いで、シャッタボタンの押下に応答して、レンズ系１００によって形成された光学的な被写体像がＣＣＤ１０３によって電気的なアナログ画像信号に変換され、この画像信号はＣＣＤ１０３から読み出される。画像信号は前処理部１０４へ転送される。前処理部１０４は、利得増幅やアナログ／デジタル変換などの前処理を実施する。次いで画像信号はバッファ１０７へ転送され、そこに記憶される。信号処理部１０８が、バッファ１０７から画像信号を読み取り、周知の補間（補間は、後述するように各画素において欠落している色成分を補間するための処理を含む）、ホワイトバランス処理、および色変換処理を実施する。信号処理部１０８は、処理の結果を階調変換部１０９および補正係数計算部１１０へ転送する。この実施形態では、ＣＣＤ１０３は、単板、二板、三板ＣＣＤの何れであっても良く、原色タイプと補色タイプの何れであっても良い。例えば単板ＣＣＤが用いられるときは、信号処理部１０８は、単板ＣＣＤからの信号を三板ＣＣＤからの信号に相当するように調整するための補間を実施する。制御部１１３の制御の下で、階調変換部１０９が、信号処理部１０８から転送された画像信号に対して、補正係数処理部１１１からの情報を用いて階調変換処理を実施する。次いで階調変換部１０９は、処理の結果を出力部１１２へ転送する。この実施形態では、階調変換処理は、各色信号に対して実施される。すなわち、例えば３原色ＣＣＤが用いられる場合は、階調変換部１０９は、Ｒ（赤）、Ｇ（緑）、およびＢ（青）の各信号に対して階調変換を実施する。出力部１１２は、画像信号をメモリカードに記録および記憶する。
In this image processing system, imaging conditions such as ISO sensitivity, shutter speed, and aperture value can be set via the external I /
図２は、図１に示した階調変換部１０９の例を示すブロック図である。この例の階調変換部１０９は、Ｐ関数部２００、Ｑ関数部２０１、周波数分解手段および多重解像度分解手段としての働きをする多重解像度分解部２０２、バッファ２０３、周波数合成手段および多重解像度合成手段としての働きをする多重解像度合成部２０４、乗算器２０５、バッファ２０６、加算器２０７、合成部２０８、およびスイッチ部２０９を備えている。合成部２０８は、階調補正情報計算手段、階調補正処理手段、局所ヒストグラム計算手段、階調補正曲線計算手段、および利得計算手段としての働きをする。
FIG. 2 is a block diagram illustrating an example of the
信号処理部１０８は、Ｐ関数部２００、Ｑ関数部２０１、および合成部２０８に接続されている。Ｐ関数部２００は、多重解像度分解部２０２、バッファ２０３、多重解像度合成部２０４、乗算器２０５、バッファ２０６、および加算器２０７を介して、合成部２０８に接続されている。Ｑ関数部２０１は、乗算器２０５に接続されている。バッファ２０３は、補正係数処理部１１１に接続されている。バッファ２０６は、スイッチ部２０９を介して、Ｐ関数部２００およびＱ関数部２０１に接続されている。合成部２０８は、出力部１１２に接続されている。制御部１１３は、多重解像度分解部２０２、多重解像度合成部２０４、合成部２０８、およびスイッチ部２０９と双方向に接続されていて、これらを制御する。
The
Ｐ関数部２００およびＱ関数部２０１は、信号処理部１０８から転送される画像信号を画素毎に読み出す。これらの各部の詳細は、前述の国際特許出願公開第ＷＯ０２／０８９０６０に記載されている。
The
以下の式（１）に従って、画像の種々の位置（ｘ，ｙ）の強度値Ｉ（ｘ，ｙ）が調整されて、調整済み強度値Ｉ’（ｘ，ｙ）が生成される。 Intensity values I (x, y) at various positions (x, y) of the image are adjusted according to the following equation (1) to generate adjusted intensity values I ′ (x, y).
この階調変換処理は、局所ヒストグラム平坦化に基づく。画像信号は、前述の（Ｍ＋１）個の基底関数（すなわち０番目の関数〜Ｍ番目の関数）を用いて処理される。従って、画像信号は、（Ｍ＋１）個の信号に分割される。 This gradation conversion processing is based on local histogram flattening. The image signal is processed using the above-described (M + 1) basis functions (that is, the 0th function to the Mth function). Therefore, the image signal is divided into (M + 1) signals.
Ｐ関数部２００からの第１の信号は、多重解像度分解部２０２へ転送される。多重解像度分解部２０２は、Ｐ関数部２００から転送された第１の信号を、多重解像度分解法を用いて処理する。第１の信号は、後述するように高周波数成分と低周波数成分とに分解される。分解された成分は、バッファ２０３へ転送される。
The first signal from the
バッファ２０３中の分解済み信号は、補正係数処理部１１１からの情報を用いて処理される。例えば、バッファ２０３中の信号と、補正係数処理部１１１からの補正係数とが、画素毎に乗算される（乗算手段）。より詳細には、補正係数は、補正係数計算部１１０によって高周波数成分と低周波数成分とに分解される係数である。次いで、補正係数処理部１１１は、各分解レベルで信号成分と補正係数とを画素毎に乗算し、結果をバッファ２０３に上書きする。その後、バッファ２０３上の処理済み信号は、多重解像度合成部２０４へ転送される。
The decomposed signal in the
多重解像度合成部２０４は、バッファ２０３から転送された信号を、後述するように多重解像度合成法を用いて処理する。
The
乗算器２０５は、多重解像度合成部２０４から転送された信号と、Ｑ関数部２０１から転送された信号とに対して、画素毎に乗算処理を実施する。この処理は、同じパラメータｉを有する信号に対して実施される（すなわち、共に同じパラメータｉを有する、Ｑｉと処理済みのＰｉとが乗算される）（式（１）参照）。これらの処理は、ＬＰＦユニットを例外として、前述の国際特許出願公開第ＷＯ０２／０８９０６０号に記載されているのと同じ方法を用いて実施される。すなわち、前述のように、この実施形態では、ＬＰＦに代えて多重解像度分解部２０２、バッファ２０３、および多重解像度合成部２０４が用いられる。乗算処理の後に、信号はバッファ２０６へ転送される。バッファ２０６は、これらの各部によって処理された第１の信号を保存する。
The
スイッチ部２０９は、バッファ２０６の情報を取得して、処理された信号がＭ番目の信号であるか否かを判定する。処理された信号がＭ番目の信号でない場合は、スイッチ部２０９は、次の信号を転送するようにＰ関数部２００およびＱ関数部２０１を制御する。一方、バッファ２０６がＭ番目の信号を取得している場合は、スイッチ部２０９は、次の信号を転送するようにＰ関数部２００およびＱ関数部２０１を制御することはしない。従って、バッファ２０６は、前述の各部によって処理された（Ｍ＋１）個の信号を保存し、これらの信号は加算器２０７へ転送される。
The
加算器２０７は、式（１）に示したように、これらの処理済み信号の合計を画素毎に計算する。
The
合成部２０８は、式（２）に示すように、信号処理部１０８から転送された信号Ｉ（ｘ，ｙ）と、加算器２０７から転送された信号Ｉ’（ｘ，ｙ）との重み付け加算を計算する。
The combining
Ｏ（ｘ，ｙ）＝αＩ’（ｘ，ｙ）＋（１−α）Ｉ（ｘ，ｙ） （２）
ここに、Ｏ（ｘ，ｙ）は、合成部２０８からの出力信号であり、αは、範囲０≦α≦１をとる重み係数である。合成部２０８の信号は、出力部１１２へ転送される。
O (x, y) = αI ′ (x, y) + (1−α) I (x, y) (2)
Here, O (x, y) is an output signal from the synthesizing
図３は、図２に示した多重解像度分解部２０２の例を示すブロック図である。この例の多重解像度分解部２０２は、バッファ３００、係数ＲＯＭ３０１、係数読取部３０２、水平方向用ハイパスフィルタ３０３、水平方向用ローパスフィルタ３０４、ダウンサンプラ３０５、３０６、垂直方向用ハイパスフィルタ３０７、３０９、垂直方向用ローパスフィルタ３０８、３１０、ダウンサンプラ３１１、３１２、３１３、３１４、データ転送制御部３１５、および転送部３１６を備えている。この例では、多重解像度分解部２０２は、ウェーブレット変換手段としての働きをする。
FIG. 3 is a block diagram illustrating an example of the
Ｐ関数部２００は、バッファ３００に接続されている。バッファ３００は、水平方向用ハイパスフィルタ３０３および水平方向用ローパスフィルタ３０４に接続されている。水平方向用ハイパスフィルタ３０３は、ダウンサンプラ３０５を介して、垂直方向用ハイパスフィルタ３０７および垂直方向用ローパスフィルタ３０８に接続されている。水平方向用ローパスフィルタ３０４は、ダウンサンプラ３０６を介して、垂直方向用ハイパスフィルタ３０９および垂直方向用ローパスフィルタ３１０に接続されている。垂直方向用ハイパスフィルタ３０７、垂直方向用ローパスフィルタ３０８、垂直方向用ハイパスフィルタ３０９、および垂直方向用ローパスフィルタ３１０は、ダウンサンプラ３１１、３１２、３１３、３１４をそれぞれ介して、転送部３１６に接続されている。転送部３１６は、バッファ２０３に接続されている。ダウンサンプラ３１４は、データ転送制御部３１５を介してバッファ３００に接続されている。係数ＲＯＭ３０１は、係数読取部３０２を介して、水平方向用ハイパスフィルタ３０３、水平方向用ローパスフィルタ３０４、垂直方向用ハイパスフィルタ３０７、垂直方向用ローパスフィルタ３０８、垂直方向用ハイパスフィルタ３０９、および垂直方向用ローパスフィルタ３１０に接続されている。制御部１１３は、係数読取部３０２、データ転送制御部３１５、および転送部３１６と双方向に接続されていて、これらを制御する。
The
係数ＲＯＭ３０１は、ウェーブレット変換におけるハール（Ｈａａｒ）関数およびドブシー（Ｄａｕｂｅｃｈｉｅｓ）関数に対するフィルタ係数をその内部に記憶する。これらの係数に代えて、係数ＲＯＭ３０１は、ガウシアンフィルタ（ガウシアン・フィルタリング手段）およびラプラシアンフィルタ（ラプラシアン・フィルタリング手段）のフィルタ係数を記憶してもよい。例えば、ハール関数におけるハイパスフィルタおよびローパスフィルタの係数を、式（３）および式（４）にそれぞれ示す。
The
ハイパスフィルタの係数＝｛０．５，−０．５｝ （３）
ローパスフィルタの係数＝｛０．５，０．５｝ （４）
これらのフィルタ係数は、水平方向のフィルタリングと垂直方向のフィルタリングの両方に用いられる。
High pass filter coefficient = {0.5, -0.5} (3)
Low-pass filter coefficient = {0.5, 0.5} (4)
These filter coefficients are used for both horizontal and vertical filtering.
制御部１１３の制御の下で、係数読取部３０２は、処理前に係数ＲＯＭ３０１からフィルタ係数を読み出す。係数読取部３０２は、ハイパスフィルタの係数を、水平方向用ハイパスフィルタ３０３、垂直方向用ハイパスフィルタ３０７、および垂直方向用ハイパスフィルタ３０９へ転送する。係数読取部３０２はまた、ローパスフィルタの係数を、水平方向用ローパスフィルタ３０４、垂直方向用ローパスフィルタ３０８、および垂直方向用ローパスフィルタ３１０へ転送する。
Under the control of the
次いで、バッファ３００は、Ｐ関数部２００から転送された信号を得て、この信号を水平方向用ハイパスフィルタ３０３および水平方向用ローパスフィルタ３０４へ転送する。バッファ３００中の信号をＬ０とすると、信号Ｌ０は、水平方向用ハイパスフィルタ３０３でのハイパス・フィルタリングおよび水平方向用ローパスフィルタ３０４でのローパス・フィルタリングによって処理される。各ダウンサンプラ３０５、３０６は、この信号を水平方向に１／２にダウンサンプリングする。次いで、前述の方式に従って、ダウンサンプラ３０５からの信号は、ハイパスフィルタの係数およびローパスフィルタの係数をそれぞれ用いて、垂直方向用ハイパスフィルタ３０７および垂直方向用ローパスフィルタ３０８によって処理される。同様に、ダウンサンプラ３０６からの信号は、ハイパスフィルタの係数およびローパスフィルタの係数をそれぞれ用いて、垂直方向用ハイパスフィルタ３０９および垂直方向用ローパスフィルタ３１０によって処理される。フィルタリングの後に、これらのフィルタからの信号は、それぞれダウンサンプラ３１１、３１２、３１３、３１４によって垂直方向に１／２にダウンサンプリングされる。
Next, the
図６に、ウェーブレット分解の例、およびその際に得られる各成分の名前を示す。この図では、水平、垂直、対角線、および低周波数の成分が、それぞれＨ、Ｖ、Ｄ、およびＬと名付けられている。各成分の添え字は、分解のレベルを示す。この名前付け規則に従い、ダウンサンプラ３１１、３１２、３１３の出力を、図６に示すようにそれぞれＤ１、Ｖ１、およびＨ１と称する。ダウンサンプラ３１４の出力はＬ１である（図６には示さず）。制御部１１３の制御の下で、転送部３１６は、出力Ｄ１、Ｖ１、およびＨ１をバッファ２０３へ転送する。制御部１１３の制御の下で、データ転送制御部３１５は、成分Ｌ１をバッファ３００へ転送する。
FIG. 6 shows an example of wavelet decomposition and names of components obtained at that time. In this figure, the horizontal, vertical, diagonal, and low frequency components are labeled H, V, D, and L, respectively. The subscript of each component indicates the level of decomposition. In accordance with this naming convention, the outputs of
バッファ３００中の成分Ｌ１は、前述と同じ方式に従って、Ｄ２、Ｖ２、Ｈ２、およびＬ２に分解される。この処理が、ｎ番目の分解が完了するまで繰り返される。 Component L 1 in buffer 300 is decomposed into D 2 , V 2 , H 2 , and L 2 in the same manner as described above. This process is repeated until the nth decomposition is completed.
ｎ番目の分解ステップが完了した後に、ダウンサンプラ３１４からの成分Ｌｎがまた、転送部３１６によってバッファ２０３へ転送される。このような処理の結果、バッファ２０３は、Ｄｊ、Ｖｊ、Ｈｊ（ｊ＝１〜ｎ）、およびＬｎを保存する。
After the nth decomposition step is completed, the component L n from the
図４は、図２に示した多重解像度合成部２０４の例を示すブロック図である。
FIG. 4 is a block diagram showing an example of the
この例の多重解像度合成部２０４は、スイッチ部４００、係数ＲＯＭ４０１、係数読取部４０２、アップサンプラ４０３、４０４、４０５、４０６、垂直方向用ハイパスフィルタ４０７、４０９、垂直方向用ローパスフィルタ４０８、４１０、加算器４１１、４１２、アップサンプラ４１３、４１４、水平方向用ハイパスフィルタ４１５、水平方向用ローパスフィルタ４１６、加算器４１７、バッファ４１８、およびデータ転送制御部４１９を備えている。この例では、多重解像度合成部２０４は、ウェーブレット変換手段としての働きをする。
The
バッファ２０３は、スイッチ部４００に接続されている。スイッチ部４００は、各アップサンプラ４０３、４０４、４０５、４０６に接続されている。アップサンプラ４０３、４０４は、それぞれ垂直方向用ハイパスフィルタ４０７および垂直方向用ローパスフィルタ４０８を介して、加算器４１１に接続されている。アップサンプラ４０５、４０６は、それぞれ垂直方向用ハイパスフィルタ４０９および垂直方向用ローパスフィルタ４１０を介して、加算器４１２に接続されている。加算器４１１は、アップサンプラ４１３および水平方向用ハイパスフィルタ４１５を介して、加算器４１７に接続されている。加算器４１２は、アップサンプラ４１４および水平方向用ローパスフィルタ４１６を介して、加算器４１７に接続されている。加算器４１７は、バッファ４１８を介して乗算器２０５に接続されている。バッファ４１８は、データ転送制御部４１９を介してスイッチ部４００に接続されている。係数ＲＯＭ４０１は、係数読取部４０２を介して、垂直方向用ハイパスフィルタ４０７、垂直方向用ローパスフィルタ４０８、垂直方向用ハイパスフィルタ４０９、垂直方向用ローパスフィルタ４１０、水平方向用ハイパスフィルタ４１５、および水平方向用ローパスフィルタ４１６のそれぞれに接続されている。制御部１１３は、係数読取部４０２およびデータ転送制御部４１９と双方向に接続されていて、これらを制御する。
The
係数ＲＯＭ４０１は、逆ウェーブレット変換におけるハール関数およびドブシー関数に対するフィルタ係数をその内部に記憶する。これらの係数に代えて、係数ＲＯＭ４０１は、ガウシアンフィルタ（ガウシアン・フィルタリング手段）およびラプラシアンフィルタ（ラプラシアン・フィルタリング手段）のフィルタ係数を記憶してもよい。 The coefficient ROM 401 stores therein filter coefficients for the Haar function and the Dobsey function in the inverse wavelet transform. Instead of these coefficients, the coefficient ROM 401 may store filter coefficients of a Gaussian filter (Gaussian filtering means) and a Laplacian filter (Laplacian filtering means).
制御部１１３の制御の下で、係数読取部４０２は、処理前に係数ＲＯＭ４０１からフィルタ係数を読み出す。係数読取部４０２は、ハイパスフィルタの係数を、垂直方向用ハイパスフィルタ４０７、４０９、および水平方向用ハイパスフィルタ４１５へ転送する。係数読取部４０２はまた、ローパスフィルタの係数を、垂直方向用ローパスフィルタ４０８、４１０、および水平方向用ローパスフィルタ４１６へ転送する。
Under the control of the
その後、スイッチ部４００は、補正済み信号Ｄ’ｎ、Ｖ’ｎ、Ｈ’ｎ、およびＬ’ｎをバッファ２０３から得て、これらの信号をアップサンプラ４０３、４０４、４０５、４０６にそれぞれ転送する。各アップサンプラ４０３、４０４、４０５、４０６は、信号を垂直方向に２倍にアップサンプリングする。次いで、アップサンプラ４０３、４０５からの信号は、ハイパスフィルタの係数を用いて、垂直方向用ハイパスフィルタ４０７、４０９によってそれぞれ処理される。アップサンプラ４０４、４０６からの信号は、ローパスフィルタの係数を用いて、垂直方向用ローパスフィルタ４０８、４１０によってそれぞれ処理される。加算器４１１、４１２は、これらの処理済み信号の合計を画素毎に計算する。各アップサンプラ４１３、４１４は、信号を水平方向に２倍にアップサンプリングする。水平方向用ハイパスフィルタ４１５および水平方向用ローパスフィルタ４１６は、ハイパスフィルタの係数およびローパスフィルタの係数をそれぞれ用いて、信号を処理する。加算器４１７は、これらの処理済み信号の合計を画素毎に計算し、低周波数成分Ｌ’ｎ−１を合成する。加算器４１７は、信号Ｌ’ｎ−１をバッファ４１８へ転送する。制御部１１３の制御の下で、データ転送制御部４１９は、信号Ｌ’ｎ−１をスイッチ部４００へ転送する。スイッチ部４００は、バッファ２０３から高周波数成分Ｄ’ｎ−１、Ｖ’ｎ−１、Ｈ’ｎ−１を読み出す。そして、上述したようなフィルタリング法を実施することにより、低周波数成分Ｌ’ｎ−２が算出される。こうした処理が、０番目の成分（すなわち信号Ｌ’０）が計算されるまで繰り返される。最後に、信号Ｌ’０はバッファ４１８へ転送され、この補正済み信号は乗算器２０５へ転送される。
Thereafter, the
図５は、図１に示した補正係数計算部１１０の例を示すブロック図である。この例の補正係数計算部１１０は、特定画像信号取得手段としての働きをする顔検出部５００と、第２の多重解像度分解手段としての働きをする多重解像度分解部５０１と、高周波数除去手段としての働きをする補正部５０２とを備えている。
FIG. 5 is a block diagram illustrating an example of the correction
信号処理部１０８は、顔検出部５００、多重解像度分解部５０１、および補正部５０２を介して、補正係数処理部１１１に接続されている。制御部１１３は、顔検出部５００、多重解像度分解部５０１、および補正部５０２と双方向に接続されていて、これらを制御する。
The
制御部１１３の制御の下で、顔検出部５００は、信号処理部１０８から転送された画像信号に対して、周知の顔検出処理を実施する。本明細書では、顔検出部５００を用いて顔が特定画像として検出されるが、これについてはどんな限定も課されないことに留意されたい。これに代えて、例えば重要被写体検出または被写体認識のような、他の処理も採用可能である。具体的には、被写体検出部を用いて、被写体領域を特定画像として検出してもよい。
Under the control of the
図７Ａ〜７Ｃは、補正係数を記述するための図である。図７Ａは、顔検出部５００による顔検出の結果である。顔検出処理は、画像信号から、顔画像を含む矩形または円形領域を抽出する。この処理では、図７Ａに示すように、顔領域を除いた画像信号は０に設定される（図７Ａは、矩形領域が採用されたときの例を示す）。この処理の後に、顔検出部５００は、抽出された画像を、顔検出の結果として多重解像度分解部５０１へ転送する。
7A to 7C are diagrams for describing the correction coefficient. FIG. 7A shows the result of face detection by the
多重解像度分解部５０１は、図７Ｂに示すように、顔検出部５００からの画像に対して多重解像度分解を実施する。ここで、図７Ｂは、図７Ａの多重解像度分解画像を示す。多重解像度分解部５０１は、多重解像度分解画像の情報を補正部５０２へ転送する。補正部５０２は、以下の方法に従って多重解像度分解画像の情報を修正する。
The
１．Ｌｎ（ｎはウェーブレット分解の最大レベル）が１に設定される（これは、顔領域以外の領域を含めたＬｎ中の全ての画素が１に設定されることを意味する）。この値は、０〜１の範囲で正規化される。 1. L n (n is the maximum level of wavelet decomposition) is set to 1 (this means that all pixels in L n including areas other than the face area are set to 1). This value is normalized in the range of 0-1.
２．条件ｍ≦ｉ（ｉは、ｎよりも小さい自由裁量の数）を満たす全てのｍについて、Ｖｍ、Ｈｍ、およびＤｍが、Ｖｍ＝０、Ｈｍ＝０、Ｄｍ＝０に設定される。 2. For all m satisfying the condition m ≦ i (i is a discretionary number smaller than n), V m , H m , and D m are set to V m = 0, H m = 0, and D m = 0. Is set.
図７Ｃに、図７Ｂに示した分解済み画像の修正によって得られる補正係数を示す。補正係数が乗算に用いられるとき、低周波数成分は１に設定される。というのは、画像信号の低周波数成分は重要な情報を保持するからである。分解レベルでの高周波数成分の情報は、いくらかのノイズ情報を含む場合がある。この理由で、低レベル成分（すなわち高周波数成分）が除去される。図７Ｃに示すように、ｎレベルとｉレベル以下とを除いた成分は、そのままである。 FIG. 7C shows correction coefficients obtained by correcting the decomposed image shown in FIG. 7B. When the correction factor is used for multiplication, the low frequency component is set to 1. This is because the low frequency component of the image signal holds important information. High frequency component information at the decomposition level may include some noise information. For this reason, low level components (ie high frequency components) are removed. As shown in FIG. 7C, the components other than the n level and the i level or lower remain as they are.
前述の方法では、除去されるレベルの最大数ｉは、任意の数である。従って、数ｉを何らかの方法で決定しなければならない。数ｉを決定するために、低周波数成分Ｌｎを除いた各成分に対して、例えば、最大値を計算する（最大値計算手段）。次いで、これらの最大値の内で最大値を有する数ｉを、レベルの数として決定する（レベル計算手段）。 In the above method, the maximum number i of removed levels is an arbitrary number. Therefore, the number i must be determined in some way. To determine the number i, for each component excluding the low frequency components L n, for example, calculates the maximum value (maximum value calculating means). Next, the number i having the maximum value among these maximum values is determined as the number of levels (level calculation means).
数ｉを決定するための他の構成も利用可能である。例えば、数ｉは、各成分に対して計算されたノイズの量に基づいて決定してもよい。図８Ａおよび８Ｂは、ＩＳＯ感度１００、２００、および４００をパラメータとして用いたときの輝度値Ｙに対する成分Ｄ１、Ｈ２のノイズ量Ｎの変化を、これら３つのパラメータに対応する関数を示す３つの曲線によって示している。このノイズモデルを用いて、ノイズ量が計算される。次いで、各成分における平均ノイズ値が計算される（高周波数成分ノイズ推定手段）。ある成分の平均ノイズ値が所定のしきい値（このしきい値は、しきい値設定手段によって手動または自動で設定される）よりも大きい場合には、この成分の全ての値が０に設定されるか、または、この成分のレベル以下のレベルの全成分の全ての値が０に設定される（レベル計算手段）。この処理の後に、補正部５０２は、補正係数を補正係数処理部１１１へ転送する。
Other configurations for determining the number i can also be used. For example, the number i may be determined based on the amount of noise calculated for each component. FIGS. 8A and 8B show changes in the noise amount N of the components D 1 and H 2 with respect to the luminance value Y when the
以上の記述ではハードウェア処理が前提であるが、本発明はこれに限定されないことに留意されたい。例えば、ＣＣＤ１０３から出力された画像信号を未処理のＲＡＷデータ（生データ）のままとして、ＩＳＯ感度や画像データのサイズなどの情報が例えばヘッダ情報としてＲＡＷデータに追加される。次いで、ヘッダ情報付きのＲＡＷデータがコンピュータ等のプロセッサに入力されると、それによりプロセッサは、画像処理プログラムを実行することによってＲＡＷデータを処理することができる。コンピュータ中で実行される画像処理プログラムに基づく処理の例について、次に図９を参照しながら述べる。
Although the above description assumes hardware processing, it should be noted that the present invention is not limited to this. For example, the image signal output from the
図９は、例示的なソフトウェア画像処理を示すフローチャートである。処理が開始されると、前述のようなＩＳＯ感度と画像データのサイズとを含むヘッダ情報が読み取られ（ステップＳ１）、次いで、ＲＡＷデータの画像が読み取られる（ステップＳ２）。次いで、周知の補間処理、ホワイトバランス処理、および色変換処理などの信号処理が実行される（ステップＳ３）。次いで補正係数が計算され（ステップＳ４）、補正係数情報を用いて階調変換が実行される（ステップＳ５）。その後、画像中の全ての画素について処理が完了したか否かが判定される（ステップＳ６）。処理が完了していないと判定されたときは、処理はステップＳ５に戻り、完了するまで上記の処理を繰り返す。一方、ステップＳ６で全ての画素について処理が完了していると判定されたときは、処理は終了する。 FIG. 9 is a flowchart illustrating exemplary software image processing. When the process is started, the header information including the ISO sensitivity and the size of the image data as described above is read (step S1), and then the image of the RAW data is read (step S2). Next, signal processing such as known interpolation processing, white balance processing, and color conversion processing is executed (step S3). Next, a correction coefficient is calculated (step S4), and gradation conversion is executed using the correction coefficient information (step S5). Thereafter, it is determined whether or not processing has been completed for all pixels in the image (step S6). If it is determined that the process has not been completed, the process returns to step S5, and the above process is repeated until the process is completed. On the other hand, when it is determined in step S6 that the process has been completed for all pixels, the process ends.
この実施形態では、階調変換で用いられる補正係数は、重要な領域に応じて変化する。このために、重要な領域に対応する階調変換が最適化され、従って高品質の画像が実現される。 In this embodiment, the correction coefficient used for gradation conversion changes according to an important area. For this reason, the tone conversion corresponding to the important area is optimized, and thus a high quality image is realized.
加えて、ノイズ情報に基づいて決定される補正係数を、高い精度で推定することができる。 In addition, the correction coefficient determined based on the noise information can be estimated with high accuracy.
一方、補正係数が、周波数分解された成分の最大値に基づいて計算される場合には、比較的高速に処理を実施することができる利点がある。 On the other hand, when the correction coefficient is calculated based on the maximum value of the frequency-resolved component, there is an advantage that the processing can be performed at a relatively high speed.
（第２の実施形態）
図１０〜１２に、本発明の第２の実施形態を示す。図１０は、画像処理システムの構成を示すブロック図である。図１１は、変換部の例示的な構成を示すブロック図である。図１２は、画像処理プログラムを用いる例示的なソフトウェア画像処理を示すフローチャートである。
(Second Embodiment)
10 to 12 show a second embodiment of the present invention. FIG. 10 is a block diagram illustrating a configuration of the image processing system. FIG. 11 is a block diagram illustrating an exemplary configuration of the conversion unit. FIG. 12 is a flowchart illustrating exemplary software image processing using an image processing program.
この第２の実施形態では、第１の実施形態と同じ参照符号を同様の部分に用い、これらの部分についての説明は省略する。相違点について主に述べる。 In the second embodiment, the same reference numerals as those in the first embodiment are used for the same parts, and description of these parts is omitted. The differences are mainly described.
図１０に示すように、第２の実施形態の画像処理システムは、図１に示したものと同じであるが、例外として、階調変換部１０９が、階調変換手段および彩度補正手段としての働きをする変換部１１６で置き換えられ、色信号分解手段としての働きをする色分解部１１５と、色信号合成手段としての働きをする色合成部１１７とが新たに追加されている。
As shown in FIG. 10, the image processing system of the second embodiment is the same as that shown in FIG. 1, except that the
信号処理部１０８は、色分解部１１５に接続されている。色分解部１１５は、補正係数計算部１１０および変換部１１６に接続されている。補正係数処理部１１１は、変換部１１６に接続されている。変換部１１６は、色合成部１１７に接続されている。色合成部１１７は、出力部１１２に接続されている。制御部１１３は、色分解部１１５、変換部１１６、および色合成部１１７とも双方向に接続されていて、これらの各部を制御する。
The
色分解部１１５は、信号処理部１０８からの、例えばＲ、Ｇ、およびＢ信号からなる画像信号を、例えばＣＩＥ Ｌ＊ａ＊ｂ＊信号などの別の信号に変換する。色分解部１１５は、分解済み信号の内の明度信号を補正係数計算部１１０へ転送し、全ての分解済み信号を変換部１１６へ転送する。変換部１１６は、色分解部１１５からの画像信号（Ｌ＊ａ＊ｂ＊信号）に対して、階調補正および彩度補正を実施する。色合成部１１７は、変換部１１６からのＬ＊ａ＊ｂ＊画像信号を、Ｒ、Ｇ、およびＢ画像信号に変換する。
The
次に、図１０に示す画像処理システム中の信号の流れについて述べる。色分解部１１５は、信号処理部１０８からの画像信号を別の信号に変換する。Ｒ、Ｇ、およびＢ信号が色分解部１１５に転送されたときは、これらの信号は、ＣＩＥ Ｌ＊ａ＊ｂ＊信号やＹＣｂＣｒ信号のような、明度、彩度、および色相信号に変換される。別の色空間に変換された画像信号は、変換部１１６へ転送される。
Next, the flow of signals in the image processing system shown in FIG. 10 will be described. The
図１１は、変換部１１６の例示的な構成を示すブロック図である。このブロック図では、図２と同じ参照符号を同様の部分に用い、これらの部分についての説明は省略する。相違点について主に述べる。図１１に示すように、変換部１１６は、図２に示したものと同じであるが、例外として、多重解像度分解部２０２が、ローパス・フィルタリング手段としての働きをするローパスフィルタ部６０１で置き換えられ、多重解像度合成部２０４が削減され、色分離手段としての働きをする色分離部６００と、彩度補正手段としての働きをする彩度変換部６０２とが新たに追加されている。
FIG. 11 is a block diagram illustrating an exemplary configuration of the
色分解部１１５は、色分離部６００に接続されている。色分離部６００は、Ｐ関数部２００、Ｑ関数部２０１、合成部２０８、および彩度変換部６０２に接続されている。Ｐ関数部２００は、ローパスフィルタ部６０１に接続されている。ローパスフィルタ部６０１は、バッファ２０３に接続されている。バッファ２０３は、乗算器２０５に接続されている。合成部２０８は、彩度変換部６０２に接続されている。彩度変換部６０２は、色合成部１１７に接続されている。制御部１１３は、色分離部６００、ローパスフィルタ部６０１、および彩度変換部６０２とも双方向に接続されていて、これらの各部を制御する。
The
色分離部６００は、色分解部１１５からの画像信号を、明度、彩度、および色相信号に分離する。明度信号は、Ｐ関数部２００、Ｑ関数部２０１、合成部２０８、および彩度変換部６０２へ転送される。彩度信号および色相信号は、彩度変換部６０２へ転送される。Ｐ関数部２００は、明度信号を前述のように（Ｍ＋１）個の信号に分割する。Ｐ関数部２００の第１の信号は、ローパスフィルタ部６０１へ転送される。ローパスフィルタ部６０１は、周知のローパス・フィルタリング法を用いて、第１の信号を処理する。この処理の後に、ローパス・フィルタリング済み信号は、バッファ２０３へ転送される。乗算器２０５は、ローパスフィルタ部６０１から転送された信号と、Ｑ関数部２０１から転送された信号とに対して、画素毎に乗算処理を実施する。乗算器２０５は、信号をバッファ２０６へ転送する。加算器２０７および合成部２０８は、信号を前述のように処理する。彩度変換部６０２は、彩度信号を補償する。彩度変換部６０２中では、式（５）に示すように、色分離部６００からの明度信号Ｉ（ｘ，ｙ）と、合成部２０８からの明度信号Ｏ（ｘ，ｙ）とを用いて、明度利得ｇが計算される。
The
ｓ’＝（ｇ・αｈ＋（１−αｈ））・ｓ （６）
ここに、ｓ’は、補償された彩度信号であり、αｈ（０≦αｈ≦１）は、色相信号ｈに依存する定数である。この処理の後に、画像信号（明度信号Ｏ（ｘ，ｙ）、彩度信号ｓ’、および色相信号ｈ）は、色合成部１１７へ転送される。
s ′ = (g · α h + (1−α h )) · s (6)
Here, s ′ is a compensated saturation signal, and α h (0 ≦ α h ≦ 1) is a constant depending on the hue signal h. After this processing, the image signal (lightness signal O (x, y), saturation signal s ′, and hue signal h) is transferred to the
この実施形態ではハードウェア処理が前提であるが、本発明はこれに限定されないことに留意されたい。処理はソフトウェアによって実施してもよい。 It should be noted that although hardware processing is assumed in this embodiment, the present invention is not limited to this. Processing may be performed by software.
図１２を参照しながら、次に、コンピュータにおける画像処理システムに基づくソフトウェア処理の例について述べる。図１２では、第１の実施形態における図９の処理と同じ処理は同じ参照符号を有し、これらの処理についての説明は省略する。ステップＳ３の後、信号は、明度、彩度、および色相信号に分解される（ステップＳ１０）。次いで、補正係数情報を用いて、階調変換および彩度変換を含む変換処理が実行される（ステップＳ１１）。次いで信号は、ＲＧＢ信号に変換される（ステップＳ１２）。その後の処理は、図９の処理と同じである。 Next, an example of software processing based on an image processing system in a computer will be described with reference to FIG. In FIG. 12, the same processes as those in FIG. 9 in the first embodiment have the same reference numerals, and description of these processes is omitted. After step S3, the signal is decomposed into lightness, saturation, and hue signals (step S10). Next, conversion processing including gradation conversion and saturation conversion is executed using the correction coefficient information (step S11). Next, the signal is converted into an RGB signal (step S12). The subsequent processing is the same as the processing in FIG.
第２の実施形態によれば、第１の実施形態で述べたのとほぼ同じ利点が実現される。加えて、階調変換だけでなく彩度変換も実施され、従って高品質の画像が達成される。 According to the second embodiment, substantially the same advantages as described in the first embodiment are realized. In addition, not only tone conversion but also saturation conversion is performed, thus achieving a high quality image.
（第３の実施形態）
図１３〜１６に、本発明の第３の実施形態を示す。図１３は、画像処理システムの構成を示すブロック図である。図１４は、階調変換部の例示的な構成を示すブロック図である。図１５Ａおよび１５Ｂは、階調曲線をそれぞれ記述するための図である。図１６は、画像処理プログラムを用いる例示的なソフトウェア画像処理を示すフローチャートである。
(Third embodiment)
13 to 16 show a third embodiment of the present invention. FIG. 13 is a block diagram illustrating a configuration of the image processing system. FIG. 14 is a block diagram illustrating an exemplary configuration of the gradation conversion unit. 15A and 15B are diagrams for describing the gradation curves. FIG. 16 is a flowchart illustrating exemplary software image processing using an image processing program.
この第３の実施形態では、第１の実施形態と同じ参照符号を同様の部分に用い、これらの部分についての説明は省略する。相違点について主に述べる。 In the third embodiment, the same reference numerals as those in the first embodiment are used for the same parts, and description of these parts is omitted. The differences are mainly described.
図１３に示すように、第３の実施形態の画像処理システムは、図１に示したものと同じであるが、例外として、階調変換部１０９が、階調変換手段としての働きをする階調変換部１１８で置き換えられ、ＲＯＩ（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ、関心領域）抽出手段および特定画像信号取得手段としての働きをするＲＯＩ抽出部１１６が新たに追加され、補正係数計算部１１０および補正係数処理部１１１が削減されている。
As shown in FIG. 13, the image processing system of the third embodiment is the same as that shown in FIG. 1, except that the
信号処理部１０８は、ＲＯＩ抽出部１１６および階調変換部１１８に接続されている。ＲＯＩ抽出部１１６は、階調変換部１１８に接続されている。階調変換部１１８は、出力部１１２に接続されている。制御部１１３は、ＲＯＩ抽出部１１６および階調変換部１１８とも双方向に接続されていて、これらの各部を制御する。
The
制御部１１３の制御の下で、階調変換部１１８は、ＲＯＩ（関心領域）抽出部１１６の情報を用いて、信号処理部１０８から転送された画像信号に対して階調変換処理を実施する。階調変換部１１８は、処理の結果を出力部１１２へ転送する。
Under the control of the
図１４は、階調変換部１１８の例示的な構成を示すブロック図である。このブロック図では、図２と同じ参照符号を同様の部分に用い、これらの部分についての説明は省略する。相違点について主に述べる。図１４に示すように、階調変換部１１８は、図２に示したものと同じであるが、例外として、多重解像度分解部２０２が、ローパス・フィルタリング手段としての働きをするローパスフィルタ部６０１で置き換えられ、多重解像度合成部２０４が削減され、補償処理手段、階調補正処理手段、および利得計算手段としての働きをする補償部７００が追加されている。この実施形態では、合成部２０８は、階調補正情報計算手段、局所ヒストグラム計算手段、および階調補正曲線計算手段としての働きをする。
FIG. 14 is a block diagram illustrating an exemplary configuration of the
信号処理部１０８は、補償部７００にも接続されている。Ｐ関数部２００は、ローパスフィルタ部６０１に接続されている。ローパスフィルタ部６０１は、バッファ２０３に接続されている。バッファ２０３は、乗算器２０５に接続されている。合成部２０８は、補償部７００に接続されている。補償部７００は、出力部１１２に接続されている。制御部１１３は、ローパスフィルタ部６０１および補償部７００とも双方向に接続されていて、これらの各部を制御する。
The
合成部２０８は、国際特許出願公開第ＷＯ０２／０８９０６０号に記載のように、信号処理部１０８から転送された信号と、加算器２０７から転送された信号との重み付け加算を計算する。合成部２０８の信号は、補償部７００へ転送される。一方、ＲＯＩ抽出部１１６は、関心領域（ＲＯＩ）（例えば顔領域または被写体領域）を抽出し、ＲＯＩの強度範囲を計算する。強度範囲の情報（例えば、図１５Ａおよび１５Ｂに示すＩ０）は、補償部７００へ転送される。補償部７００は、図１５Ａおよび１５Ｂに示すようなＲＯＩ抽出部１１６からの情報を用いて、合成部２０８からの信号を補償する。図１５Ａおよび１５Ｂは、階調曲線をそれぞれ記述するための図である。図１５Ａにおいて、入力強度は、信号処理部１０８からの信号の強度であり、出力強度は、合成部２０８からの出力信号の強度である。信号処理部１０８からの信号の強度が、ＲＯＩの強度範囲内にある（図１５Ａおよび１５Ｂの場合、強度Ｉ０よりも低い）場合、補償部７００は、図１５Ｂに示すように合成部２０８からの信号を補償する。すなわち、補償部７００は、階調変換曲線を例えば線形化する補償を実施して、ＲＯＩの強度範囲内の信号の階調を劣化させないように階調変換を実施する（線形化手段）。補償部７００の信号は、出力部１１２へ転送される。
The
前述の構成により、顔領域などの特定領域に適した高品質の画像を得ることが可能である。 With the above-described configuration, it is possible to obtain a high-quality image suitable for a specific area such as a face area.
この実施形態ではハードウェア処理が前提であるが、本発明はこれに限定されないことに留意されたい。処理はソフトウェアによって実施してもよい。 It should be noted that although hardware processing is assumed in this embodiment, the present invention is not limited to this. Processing may be performed by software.
図１６を参照しながら、次に、コンピュータにおける画像処理システムに基づくソフトウェア処理の例について述べる。図１６では、第１の実施形態における図９の処理と同じ処理は同じ参照符号を有し、これらの処理についての説明は省略する。 Next, an example of software processing based on an image processing system in a computer will be described with reference to FIG. In FIG. 16, the same processes as those in FIG. 9 in the first embodiment have the same reference numerals, and descriptions of these processes are omitted.
ステップＳ３の後に、画像信号の関心領域（ＲＯＩ）が抽出され（ステップＳ２０）、ＲＯＩ情報に基づいて階調変換が実行される（ステップＳ２１）。その後の処理は、図９の処理と同じである。 After step S3, the region of interest (ROI) of the image signal is extracted (step S20), and gradation conversion is performed based on the ROI information (step S21). The subsequent processing is the same as the processing in FIG.
第３の実施形態によれば、画像信号のＲＯＩにとって理想的な階調曲線が得られ、従って高品質の画像が達成される。 According to the third embodiment, an ideal gradation curve is obtained for the ROI of the image signal, and thus a high-quality image is achieved.
前述の各実施形態は、本発明の説明的な例としてのみ理解されるべきであり、本発明のさらに他の実施形態を考えることもできる。ある実施形態に関連して述べた任意の特徴を他の実施形態で用いてもよいことを理解されたい。さらに、添付の特許請求の範囲に定義する本発明の範囲を逸脱することなく、上述しなかった均等物および修正を利用することもできる。 Each of the above-described embodiments should be understood only as an illustrative example of the present invention, and still other embodiments of the present invention can be considered. It should be understood that any feature described in connection with one embodiment may be used in other embodiments. Furthermore, equivalents and modifications not described above may be utilized without departing from the scope of the present invention as defined in the appended claims.
１００…レンズ系
１０１…絞り
１０２…ＡＦモータ
１０３…ＣＣＤ
１０４…前処理部
１０５…測光評価部
１０６…フォーカス検出部
１０７…バッファ
１０８…信号処理部
１０９…階調変換部
１１０…補正係数計算部
１１１…補正係数処理部
１１２…出力部
１１３…制御部
１１４…外部Ｉ／Ｆ部
１１５…色分解部
１１６…変換部
１１６…ＲＯＩ抽出部
１１７…色合成部
１１８…階調変換部
２００…Ｐ関数部
２０１…Ｑ関数部
２０２…多重解像度分解部
２０３…バッファ
２０４…多重解像度合成部
２０５…乗算器
２０６…バッファ
２０７…加算器
２０８…合成部
２０９…スイッチ部
３００…バッファ
３０１…係数ＲＯＭ
３０２…係数読取部
３０３…水平方向用ハイパスフィルタ
３０４…水平方向用ローパスフィルタ
３０５，３０６，３１１，３１２，３１３，３１４…ダウンサンプラ
３０７，３０９…垂直方向用ハイパスフィルタ
３０８，３１０…垂直方向用ローパスフィルタ
３１５…データ転送制御部
３１６…転送部
４００…スイッチ部
４０１…係数ＲＯＭ
４０２…係数読取部
４０３，４０４，４０５，４０６，４１３，４１４…アップサンプラ
４０７，４０９…垂直方向用ハイパスフィルタ
４０８，４１０…垂直方向用ローパスフィルタ
４１１，４１２，４１７…加算器
４１５…水平方向用ハイパスフィルタ
４１６…水平方向用ローパスフィルタ
４１８…バッファ
４１９…データ転送制御部
５００…顔検出部
５０１…多重解像度分解部
５０２…補正部
６００…色分離部
６０１…ローパスフィルタ部
６０２…彩度変換部
７００…補償部
DESCRIPTION OF SYMBOLS 100 ...
104 ...
302 ...
402:
Claims (5)
前記画像信号に基づく信号を生成する信号生成手段と、
特定領域を含む特定画像信号を前記画像信号から取得するための特定画像信号取得手段と、
前記特定領域を含む前記特定画像信号の情報を用いて補正係数を取得し、前記補正係数は低周波数成分の寄与を高周波数成分の寄与よりも高くするものである、補正係数取得手段と、
前記画像信号に基づく信号において前記特定画像信号に相当する領域に前記補正係数を用いて補正を行う補正係数処理手段と、
前記補正係数処理手段により補正された信号に基づく信号と前記画像信号とを合成することにより、前記画像信号に対して階調変換処理を実行する階調変換手段と、
を具備したことを特徴とする画像処理システム。 An image processing system for gradation correction processing for an image signal,
Signal generating means for generating a signal based on the image signal;
Specific image signal acquisition means for acquiring a specific image signal including a specific region from the image signal;
A correction coefficient is acquired using information of the specific image signal including the specific area , and the correction coefficient is a correction coefficient acquisition means for making the contribution of the low frequency component higher than the contribution of the high frequency component ;
Correction coefficient processing means for performing correction using the correction coefficient in a region corresponding to the specific image signal in the signal based on the image signal;
A gradation conversion means for performing gradation conversion processing on the image signal by combining the image signal and the signal based on the signal corrected by the correction coefficient processing means;
An image processing system comprising:
前記画像信号に基づく信号を周波数成分に分解するための周波数分解手段と、
前記補正係数に基づいて前記画像信号に基づく信号の周波数成分を補正するための補正処理手段と、
補正済み前記画像信号に基づく信号の周波数成分を合成して補正済み前記画像信号に基づく信号を計算するための周波数合成手段と、
を具備したことを特徴とする請求項１に記載の画像処理システム。 The gradation converting means includes
Frequency resolving means for decomposing a signal based on the image signal into frequency components;
Correction processing means for correcting a frequency component of a signal based on the image signal based on the correction coefficient;
A frequency synthesizer for calculating a signal based on the corrected image signal by combining frequency components of the signal based on the corrected image signal;
The image processing system according to claim 1, further comprising:
前記画像信号に基づく信号を生成する信号生成ステップと、
特定領域を含む特定画像信号を前記画像信号から取得するための特定画像信号取得ステップと、
前記特定領域を含む前記特定画像信号の情報を用いて補正係数を取得し、前記補正係数は低周波数成分の寄与を高周波数成分の寄与よりも高くするものである、補正係数取得ステップと、
前記画像信号に基づく信号において前記特定画像信号に相当する領域に前記補正係数を用いて補正を行う補正係数処理ステップと、
前記補正係数処理ステップにより補正された信号に基づく信号と前記画像信号とを合成することにより、前記画像信号に対して階調変換処理を実行する階調変換ステップと、
を含むことを特徴とする画像処理方法。 An image processing method for gradation correction processing for an image signal,
A signal generating step for generating a signal based on the image signal;
A specific image signal acquisition step for acquiring a specific image signal including a specific region from the image signal;
A correction coefficient is obtained using information of the specific image signal including the specific area , and the correction coefficient is a correction coefficient acquisition step that makes the contribution of the low frequency component higher than the contribution of the high frequency component ;
A correction coefficient processing step of performing correction using the correction coefficient in a region corresponding to the specific image signal in the signal based on the image signal;
A gradation conversion step of performing gradation conversion processing on the image signal by combining the image signal and the signal based on the signal corrected in the correction coefficient processing step;
An image processing method comprising:
前記画像信号に基づく信号を生成する信号生成ステップと、
特定領域を含む特定画像信号を前記画像信号から取得するための特定画像信号取得ステップと、
前記特定領域を含む前記特定画像信号の情報を用いて補正係数を取得し、前記補正係数は低周波数成分の寄与を高周波数成分の寄与よりも高くするものである、補正係数取得ステップと、
前記画像信号に基づく信号において前記特定画像信号に相当する領域に前記補正係数を用いて補正を行う補正係数処理ステップと、
前記補正係数処理ステップにより補正された信号に基づく信号と前記画像信号とを合成することにより、前記画像信号に対して階調変換処理を実行する階調変換ステップと、
を含むことを特徴とする画像処理プログラム。 An image processing program for gradation correction processing for an image signal,
A signal generating step for generating a signal based on the image signal;
A specific image signal acquisition step for acquiring a specific image signal including a specific region from the image signal;
A correction coefficient is obtained using information of the specific image signal including the specific area , and the correction coefficient is a correction coefficient acquisition step that makes the contribution of the low frequency component higher than the contribution of the high frequency component ;
A correction coefficient processing step of performing correction using the correction coefficient in a region corresponding to the specific image signal in the signal based on the image signal;
A gradation conversion step of performing gradation conversion processing on the image signal by combining the image signal and the signal based on the signal corrected in the correction coefficient processing step;
An image processing program comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012064483A JP5586031B2 (en) | 2012-03-21 | 2012-03-21 | Image processing system, image processing method, and image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012064483A JP5586031B2 (en) | 2012-03-21 | 2012-03-21 | Image processing system, image processing method, and image processing program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009539558A Division JP5259616B2 (en) | 2007-03-14 | 2007-03-14 | Image processing system and image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012128881A JP2012128881A (en) | 2012-07-05 |
| JP5586031B2 true JP5586031B2 (en) | 2014-09-10 |
Family
ID=46645753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012064483A Active JP5586031B2 (en) | 2012-03-21 | 2012-03-21 | Image processing system, image processing method, and image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5586031B2 (en) |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03102478A (en) * | 1989-09-14 | 1991-04-26 | Shimadzu Corp | Image processing device |
| JPH08123959A (en) * | 1994-10-28 | 1996-05-17 | Olympus Optical Co Ltd | Electronic picture noise eliminating system |
| JPH11272866A (en) * | 1998-03-23 | 1999-10-08 | Olympus Optical Co Ltd | Image restoring method |
| JP3833177B2 (en) * | 2000-11-30 | 2006-10-11 | キヤノン株式会社 | Image processing apparatus, image processing method, storage medium, and program |
| GB0110748D0 (en) * | 2001-05-02 | 2001-06-27 | Apical Ltd | Image enhancement methods and apparatus therefor |
| JP2003290170A (en) * | 2002-03-29 | 2003-10-14 | Konica Corp | Image processing apparatus, method for image processing, program, and recording medium |
| JP2004021374A (en) * | 2002-06-13 | 2004-01-22 | Fuji Xerox Co Ltd | Image processing method, image processing device, program, and storage medium |
| JP2004187036A (en) * | 2002-12-04 | 2004-07-02 | Canon Inc | Contour correction system |
| JP4277534B2 (en) * | 2003-02-12 | 2009-06-10 | オムロン株式会社 | Image editing apparatus and image editing method |
| JP3914168B2 (en) * | 2003-04-08 | 2007-05-16 | オリンパス株式会社 | Imaging system, image processing program |
| JP2005191711A (en) * | 2003-12-24 | 2005-07-14 | Olympus Corp | Imaging system and method therefor, regeneration system and program thereof, and imaging regeneration system and program thereof |
| JP4527500B2 (en) * | 2004-11-10 | 2010-08-18 | 富士フイルム株式会社 | Image processing method, apparatus, and program |
| JP4869653B2 (en) * | 2005-08-03 | 2012-02-08 | オリンパス株式会社 | Image processing device |
-
2012
- 2012-03-21 JP JP2012064483A patent/JP5586031B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012128881A (en) | 2012-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4837503B2 (en) | Image processing system and image processing program | |
| JP4837365B2 (en) | Image processing system and image processing program | |
| US8363131B2 (en) | Apparatus and method for local contrast enhanced tone mapping | |
| US7860334B2 (en) | Adaptive image filter for filtering image information | |
| KR101099401B1 (en) | Image processing apparatus and computer-readable medium | |
| JP4869653B2 (en) | Image processing device | |
| JP4979595B2 (en) | Imaging system, image processing method, and image processing program | |
| JP5343726B2 (en) | Image processing apparatus and image processing program | |
| JP5123756B2 (en) | Imaging system, image processing method, and image processing program | |
| KR20080063829A (en) | Method of forming an image based on a plurality of image frames, image processing system and digital camera | |
| WO2015119271A1 (en) | Image processing device, imaging device, image processing method, computer-processable non-temporary storage medium | |
| JP5259616B2 (en) | Image processing system and image processing program | |
| JP2008263507A (en) | Video processor and video processing program | |
| JP2011151739A (en) | Image processing apparatus | |
| JP2010220207A (en) | Image processing apparatus and image processing program | |
| JP3863808B2 (en) | Outline enhancement circuit | |
| JP4687454B2 (en) | Image processing apparatus and imaging apparatus | |
| JP5586031B2 (en) | Image processing system, image processing method, and image processing program | |
| JP4433545B2 (en) | Image signal processing apparatus, image signal processing method, learning apparatus, learning method, and recording medium | |
| JP4547757B2 (en) | Image signal processing apparatus, image signal processing method, learning apparatus, learning method, and recording medium | |
| JP5494249B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
| JP5242750B2 (en) | Image processing device | |
| JP4547758B2 (en) | Image signal processing apparatus, image signal processing method, learning apparatus, learning method, and recording medium | |
| JP2009004893A (en) | Image processor and imaging system equipped with same | |
| WO2010103668A1 (en) | Image processing apparatus, image processing method, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120321 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130122 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130422 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131119 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140701 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140716 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5586031 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |